环境采用centos6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装，Java下载的oracle官网的1.8.0_172的包安装。参考了别人的文档，遇到了不同的问题。1.3台centos6.5vmware192.168.17.205Master192.168.17.206hadoop1192.168.17.207hadoop2为三台主机添加同一用户，设置密码：添加用户u
分类：
其他好文 时间：
2018-04-23 13:50:27
阅读次数：
204
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境，请自行安装系统。如果用的是 Ubuntu 系统，请查看相应的 Ubuntu安装Hadoop教程。 本教程基于原生 Hadoop 2，在 Hadoop 2 ...
分类：
其他好文 时间：
2018-04-18 19:13:15
阅读次数：
197
NameNode High Availability Background Hadoop2.0.0之前，NameNode存在单点失败（single point of failure） (SPOF) 问题。 出现单点失败的原因： （1）NameNode所在的机器挂了； （2）NameNode所在的机器 ...
分类：
其他好文 时间：
2018-04-18 14:26:40
阅读次数：
201
它出现在Hadoop1.x版本中，又称辅助NameNode，在Hadoop2.x以后的版本中此角色消失。如果充当datanode节点的一台机器宕机或者损害，其数据不会丢失，因为备份数据还存在于其他的datanode中。但是，如果充当namenode节点的机器宕机或损害导致文件系统无法使用，那么文件系 ...
分类：
其他好文 时间：
2018-04-17 11:41:20
阅读次数：
208
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群（也可访问该网页查看：http://tn.51cto.com/article/562）所需软件：（1）下载Hadoop2.5.1到Win7系统下，并解压缩Hadoop2.5.1下载地址：Indexof/dist/hadoop/core/hadoop-2.5.1http://archive.apache.org/dist/ha
Hadoop3.x概述Hadoop3.x中增强了很多特性，并且也改进了很多地方，是Hadoop2.x的升级（这不是废话吗）。需要注意的是，在Hadoop3.x中，不能再使用jdk1.7，而是需要升级到jdk1.8以上版本。这是因为Hadoop2.0是基于JDK1.7开发的，而JDK1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是
分类：
其他好文 时间：
2018-04-10 15:17:58
阅读次数：
365
Hadoop的两大功能：海量数据存储和海量数据分析 Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn 1、HDFS：分布式文件系统海量数据存储 2、MapperReducer：运算框架，海量数据分析 3、yarn：资源调度管理集群 HDFS工作机制：基于namenode ...
分类：
其他好文 时间：
2018-04-07 12:51:32
阅读次数：
115
操作系统： MAC OS X 一、准备 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载地址：https://archive.cloudera.com/cdh5/cd ...
分类：
系统相关 时间：
2018-04-05 20:56:11
阅读次数：
302
Writing YARN Applications Link：http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html Application submission c ...
分类：
移动开发 时间：
2018-04-04 12:45:33
阅读次数：
219
ResourceManger Restart ResourceManager负责资源管理和应用的调度，是YARN的核心组件，有可能存在单点失败的问题。ResourceManager Restart是使RM在重启动时能够使Yarn集群正常工作的feature，并且使RM的出现的失败不被用户知道。 Re ...
分类：
其他好文 时间：
2018-04-04 10:30:43
阅读次数：
245
