1.安装插件下载插件hadoop-eclipse-plugin-2.6.0.jar并将其放到eclips安装目录->plugins（插件）文件夹下。然后启动eclipse。配置 hadoop 安装目录 配置Map/Reduce 视图 点击"大象" 在“Map/Reduce Lo...
分类：
系统相关 时间：
2015-07-23 06:44:43
阅读次数：
257
rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。下面我们来概要分析一下Hadoop2的rpc。Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。客户端采用传统的s...
分类：
其他好文 时间：
2015-07-22 18:26:37
阅读次数：
117
前期已经完成了hadoop全分布模式的部署和运行，近期想更进一步的了解hadoop原理，基于hadoop2.X的书籍最好的莫过于《hadoop权威指南(第四版)》，很可惜作者年初才刚写完，没来得及翻译，只好看英文版了，书中的要点重点在接下来的一段时间我会依次翻译出来（全部翻译不太现实，没那么多时间精力，将近900页呢），如果有翻译不妥的地方，还请大家指出来，共同进步，谢谢！
今天是个开头，就先翻...
分类：
其他好文 时间：
2015-07-22 13:04:27
阅读次数：
97
一、编译hadoop2 eclipse插件 1、安装ant 2、准备eclipse插件包，下载地址：http://pan.baidu.com/s/1i3myDvv 或者https://github.com/nemotan/hadoop2x-eclipse-plugin 3、...
1.概述 之前在《Hadoop2源码分析－RPC探索实战》一文当中介绍了Hadoop的RPC机制，今天给大家分享关于YARN的RPC的机制。下面是今天的分享目录：YARN的RPC介绍YARN的RPC示例截图预览 下面开始今天的内容分享。2.YARN的RPC介绍 我们知道在Hadoop的RPC当...
分类：
其他好文 时间：
2015-07-21 16:56:49
阅读次数：
159
由wordcount执行一步一步记录mapreduce的开发过程1、执行wordcount2、最简单的mapreduce3、自定义
分类：
其他好文 时间：
2015-07-19 23:46:16
阅读次数：
164
1 Centos 6.5 编译hadoop2.7.1 主机配置： sudo yum install gcc gcc-c++ sudo yum install ncurses-devel sudo yum -y install lzo-devel zlib-devel autoconf automak...
分类：
其他好文 时间：
2015-07-19 16:27:07
阅读次数：
217
解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题，ljavalangstring一．简介 Windows下的 Eclipse上调试Hadoop2代码，所以我...
分类：
其他好文 时间：
2015-07-18 19:50:23
阅读次数：
119
用户配置：User :rootPassword:toor2.创建新用户 studentPwd: student3．安装virtualbox的增强工具软件4.系统默认安装的是openjdk 1.7.0.5没有jps等工具可以使用。但hadoop应该是可以在openjdk中使用的。卸载openjdk，下...
分类：
其他好文 时间：
2015-07-18 18:31:43
阅读次数：
176
ssh-copy-id -i hadoop5含义: 节点hadoop4上执行ssh-copy-id -i hadoop5的含义是把hadoop4上的公钥id_rsa.pub的内容追加到hadoop5的授权文件authorized_keys中。 zookeeper在hadoop2中...
分类：
其他好文 时间：
2015-07-18 15:34:19
阅读次数：
112
