一、安装opensjdk1.8.0yuminstalljava-1.8.0-openjdk-y二、下载hadoop3.0.0wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz三、配置hadoop1、解压hadoop2、编辑etc/hadoop/hadoop-env.shexportJAVA_HOME=‘/usr/lib/jvm/jav..
分类：
其他好文 时间：
2016-10-01 06:53:38
阅读次数：
150
参考资料：Hadoop2.3.0详细安装过程开源中国git： https://git.oschina.net/lucky110100/sloth.git 你没看错，这就是2.4.0版本的安装脚本，虽然参考的是2.3.0的。 安装环境：虚拟机软件： VirtualBox-4.3.8-92456-Win ...
分类：
其他好文 时间：
2016-09-29 11:20:18
阅读次数：
229
rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。 下面我们来概要分析一下Hadoop2的rpc。 Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。 客户端采用传 ...
分类：
其他好文 时间：
2016-09-28 22:27:04
阅读次数：
211
1.1 YARN基本架构 YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统... ...
分类：
其他好文 时间：
2016-09-27 18:01:07
阅读次数：
118
完整PDF版本：《Apache Hadoop2.x边安装边入门》 目录 第一部分：Linux环境安装 第一步、配置Vmware NAT网络 一、 Vmware网络模式介绍 二、 NAT模式配置 第二步、安装Linux操作系统 三、 Vmware上安装Linux系统 四、设置网络 五、修改Hostna ...
分类：
Web程序 时间：
2016-09-26 17:43:19
阅读次数：
258
问题一：namenode启动失败 描述：在初始化后hadoop后，发现datanode启动失败，namenode则可以正常启动，如果把用户换成root权限，再次启动时，则namenode和datanode都可以正常启动， 原因以及解决方案：由于我在之前进行了多次初始化操作，使得存在大量的日志，因此我 ...
分类：
其他好文 时间：
2016-09-26 10:49:02
阅读次数：
82
过去几年中 Hadoop 社区涌现过很多的 NameNode 共享存储方案， 比如 shared NAS+NFS、BookKeeper、BackupNode 和 QJM(Quorum Journal Manager) 等等。 目前社区已经把由 Clouderea 公司实现的基于 QJM 的方案合并到 ...
分类：
其他好文 时间：
2016-09-21 13:06:08
阅读次数：
216
一、下载1.下载hadoop[root@master~]#cd/usr/local/src/[root@mastersrc]#wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz2.官网下载地址（可获最新）http://hadoop.apache.org/releases.html#Download二.安装1.解压[root@mastersrc]#tar..
分类：
其他好文 时间：
2016-09-18 21:34:36
阅读次数：
189
下面介绍如何在Windows8.1上搭建hadoop2.7.2的本地模式开发环境，为后期做mapreduce的开发做准备。在搭建开发环境之前，首先选择开发工具，就是大家都很熟悉的Eclipse（本人这次使用的是eclipse4.4.2版本），Eclipse提供了hadoop的插件，我们通过这个插件，就可以在eclipse中编..
一.hadoop集群环境配置 参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html） 我是在自己的Linux上编译了一一下, centos 64位 编译环境: 二.window ...
