Hadoop代码测试环境：Hadoop2.4原则：在Hadoop的MapReduce过程。Mapper阅读过程完成后数据。它将数据发送到Partitioner。由Partitioner每个记录应当采取以确定哪些reducer节点，它用于通过缺省HashPartitioner。其核心代码例如以下：/*...
分类：
其他好文 时间：
2015-06-09 19:25:44
阅读次数：
120
我这边给出我的集群环境是由一台主节点master和三台从节点slave组成：master 192.168.1.2slave1 192.168.1.3slave2 192.168.1.4slave3 192.168.1.5申明：我搭建的这个集群不是在普通用户，所以一下操作都是在超级用户root上。一、...
分类：
其他好文 时间：
2015-06-07 00:57:51
阅读次数：
151
Eclipse中用maven导入hadoop源码
1) 安装并配置maven环境变量
M2_HOME: D:\profession\hadoop\apache-maven-3.3.3
PATH: %M2_HOME%\bin;
2) 验证：mvn –version
3) 下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip
4) 将...
分类：
系统相关 时间：
2015-06-06 14:56:18
阅读次数：
548
系统介绍了eclipse如何开发hadoop项目，可以作为参考。easy。...
分类：
系统相关 时间：
2015-06-05 17:38:19
阅读次数：
227
1.概述 这篇博客接着《Hadoop2源码分析－RPC机制初识》来讲述，前面我们对MapReduce、序列化、RPC进行了分析和探索，对Hadoop V2的这些模块都有了大致的了解，通过对这些模块的研究，我们明白了MapReduce的运行流程以及内部的实现机制，Hadoop的序列化以及它的通信机制....
分类：
其他好文 时间：
2015-06-04 13:19:59
阅读次数：
1171
1.hadoop的分布式安装过程
1.1 分布结构
主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
1.2 各节点重新产生ssh加...
分类：
其他好文 时间：
2015-06-03 23:32:38
阅读次数：
151
一、SecondaryNameNodeSecondary NameNode不是NameNode的备份。它的作用是：定期合并fsimage与edits文件，并推送给NameNode，以及辅助恢复NameNode。
SNN的作用现在（Hadoop2.x）可以被两个节点替换CheckpointNode和BackupNode。
CheckpointNode可以理解为与Secondary NameNode...
分类：
其他好文 时间：
2015-06-02 23:27:56
阅读次数：
3152
折腾了大半个晚上终于部署成功了，比在Linux上面稍微复杂一点，详细步骤如下：
1) jdk、ant、hadoop环境变量配置
2) 分别将hadoop-2.5.2.tar.gz、hadoop-2.5.2-src.tar.gz、hadoop2x-eclipse-plugin、hadoop-common-2.2.0-bin下载解压到D:\profession\hadoop目录下
3) ...
1.复制hadoop-eclipse-plugin-2.6.0.jar插件到eclipse的plugins目录下（hadoop2.6的插件，在hadoop自带上没有，要上网下载，多试几个如果是从ubuntu自带的软件中心安装elcipse的话，则安装目录为：/usr/share/eclipse/dr...
分类：
系统相关 时间：
2015-06-02 12:49:46
阅读次数：
148
1.编译hadoop2.6.0的eclipse插件
下载源码：
git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git
编译源码：
cd src/contrib/eclipse-plugin
ant jar -Dversion=2.6.0 -Declipse.home=/opt/eclipse -...
分类：
系统相关 时间：
2015-06-01 11:33:00
阅读次数：
175
