几乎因为安装配置hadoop的事弄了三四天，昨天unbuntu莫名其妙的崩溃了。好在今天及其顺利都弄好了，虽然经过了很多烦恼的问题挫折，不过他们是有意义的。
第一次配置是用hadoop2.52的版本，可能是配置文件的问题，当时没有发现，但是看到做wordcount那个例子时遇到bin/hdfs dfs -put etc/hadoop input这条命令时总会出现 No such file or di...
分类：
其他好文 时间：
2015-03-11 21:47:06
阅读次数：
149
基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统、基于HBase的爬虫调度库涉及项目：银行人民币查询系统、HBase编程实践及案例分析...
分类：
其他好文 时间：
2015-03-11 16:34:36
阅读次数：
138
Hadoop 2.x 编译编译前准备 （hadoop_src/BUILDING.txt）Requirements:* Unix System* JDK 1.6+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBu...
分类：
其他好文 时间：
2015-03-11 14:29:24
阅读次数：
144
基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统、基于HBase的爬虫调度库涉及项目：银行人民币查询系统、HBase编程实践及案例分析...
分类：
其他好文 时间：
2015-03-10 15:19:43
阅读次数：
155
介绍：Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。更多参考官网：http://phoenix.apache.org/
本文主要详细介绍Phoenix 4.3.0 与 Hbase0.98.10-ha...
分类：
其他好文 时间：
2015-03-10 14:03:53
阅读次数：
1997
一、在Ubuntu下创建hadoop组和hadoop用户增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。1、创建hadoop用户组2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop回车后会提示输入...
分类：
系统相关 时间：
2015-03-09 00:24:30
阅读次数：
353
hadoop2对比hadoop1 1、体系结构 HDFS+MapReduce,共同点都是分布式的，主从关系结构。 HDFS=一个NameNode+多个DataNode, NameNode含有我们用户存储的文件的元数据信息。数据本身是放在硬盘上的，但是在运行时是加载在内存里的。 缺点：（1）当...
分类：
其他好文 时间：
2015-03-08 20:01:09
阅读次数：
138
默认已经安装了jdk和scala
下面说一下spark的eclispe的集成开发环境的搭建
eclipse4.2
update-site.zip
spark-1.0.2-bin-hadoop2.tgz
解压spark-1.0.2-bin-hadoop2.tgz，得到lib文件夹下的jar包spark-assembly-1.1.1-hadoop2.3.0.jar
下面开始进行配置
打开e...
分类：
其他好文 时间：
2015-03-07 21:22:05
阅读次数：
257
hadoop官方网站中只提供了32位的hadoop-2.2.0.tar.gz，如果要在64位ubuntu下部署hadoop-2.2.0，就需要重新编译源码包，生成64位的部署包。建议以下操作使用root账户，避免出现权限不足的问题。安装jdk请参考文章《在ubuntu中安装jdk》。安装maven请...
分类：
系统相关 时间：
2015-03-07 09:04:18
阅读次数：
236
该文章的前期准备
hadoop安装
zk安装
本文所用的hbase版本是0.98.9
在安装hbase前，先确保下依赖组件的各个版本，本文的hadoop版本是2.6，在官网上没有给出支持的相关说明，但是我们仍然来使用hadoop2.6尝试下，jdk是7
http://www.apache.org/dyn/closer.cgi/hbase/
点击链接下载hba...
分类：
其他好文 时间：
2015-03-03 16:39:03
阅读次数：
126
