1.环境准备: 安装Centos6.5的操作系统 下载hadoop2.7版本的软件 wgethttp://124.205.69.132/files/224400000162626A/mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.1.tar.gz 下载jdk1.87版本的软件 wgethttp://download.oracle.com/otn-pub/java/jdk/8u60-b27/j..
分类：
其他好文 时间：
2015-10-03 12:00:01
阅读次数：
331
说说secondarynamenode作用http://my.oschina.net/u/1464779/blog/289895说说secondarynamenode的配置hadoop2.X如何将namenode与SecondaryNameNode分开配置http://www.aboutyun.co...
分类：
其他好文 时间：
2015-10-01 17:49:29
阅读次数：
204
1.环境准备: 安装Centos6.5的操作系统 下载hadoop2.7文件 下载jdk1.8文件2.修改/etc/hosts文件及配置互信: 在/etc/hosts文件中增加如下内容: 192.168.1.61host61 192.168.1.62host62 192.168.1.63host63 配置好各服务器之间的ssh互信3.添加用户,解压文件并配置环境变量: us..
分类：
其他好文 时间：
2015-09-30 01:05:37
阅读次数：
225
代码测试环境：Hadoop2.4应用场景：当需要处理非常多的小数据文件，这种技术的目的，可以被应用到实现高效的数据处理。原理：申请书CombineFileInputFormat，能够进行切片合并的时候把多个小的数据文件。因为每个切片将有一个Mapper，当一个Mapper处理的数据比較小的时候，其效...
分类：
其他好文 时间：
2015-09-27 14:57:28
阅读次数：
229
hadoop2.5.2 启动成功后，用jps查看：感觉少了DataNode 确实少了DataNode。 查看日志： 从日志上看，画线的部分说明了问题 datanode的clusterID 和 namenode的clusterID 不匹配。 解决办法: 根据日志中的路径，c...
分类：
其他好文 时间：
2015-09-22 00:13:46
阅读次数：
228
一、环境要求：1、 虚拟机安装并设置网络；2、 修改主机地址映射；3、 必备软件：Jdk、Development Tools Development Libraries gcc c++等已安装；4、 修改windows主机C:\Windows\System32\drivers\etc\hosts在h...
分类：
其他好文 时间：
2015-09-21 10:37:34
阅读次数：
201
hadoop2与hadoop1的配置有些许不同，最主要的是hadoop1里的master变成了yarn这篇文直接从hadoop的配置开始，因为系统环境和jdk和hadoop1都是一样的。hadoop1的配置链接，从第六步开始六、设置hadoop2参数进入 usr/local/hadoop/etc/h...
分类：
其他好文 时间：
2015-09-20 17:43:16
阅读次数：
222
hadoop2的安装教程Spark可以直接安装在hadoop2上面，主要是安装在hadoop2的yarn框架上面安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本，选择对应的Scala和jdkScala的安装就是解压缩，然后配置环境变量，将Scala的执行命令配置到Path...
分类：
其他好文 时间：
2015-09-20 17:31:56
阅读次数：
152
配置hadoop2.7.1伪分布式 需要配置五个文件第一个： vim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_80第二个： vim core-site.xml fs.defaultFS hdfs://majiabin01:9000 ...
分类：
其他好文 时间：
2015-09-19 13:47:48
阅读次数：
141
1.版本和安装路径Ubuntu 14.04Mahout_Home=/opt/mahout-0.10.1Hadoop_Home=/usr/local/hadoopMavent_Home=/opt/apache-mavent-3.3.3Hadoop version=2.6.0Mahout version...
分类：
其他好文 时间：
2015-09-19 06:07:42
阅读次数：
244
