NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。 因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNo ...
分类：
其他好文 时间：
2016-09-21 13:08:14
阅读次数：
212
从Hadoop1到Hadoop2很大程度上解放了Jobtracker资源调度的问题，这就得多亏了yarn平台了。我知道的，除了我们的大豆瓣用的是Mesos，咱们国家可以说应该是99.99%都使用的是yarn，当然了，国外使用的大多是Mesos。（然而我对Mesos并不理解啥，只知道他和yarn一样的 ...
分类：
其他好文 时间：
2016-09-09 22:28:06
阅读次数：
180
Tracker是跟踪者，跟踪器。JobTracker是项目经理。在hadoop2*的0.23版本之后，改叫RM了。ResourceManager。TaskTracker是小组长。它手下，还有具体搬砖的。在hadoop2*的0.23版本之后，改叫NM了。NodeManager。 ？？？ 其实，不管，是 ...
分类：
其他好文 时间：
2016-09-03 16:35:10
阅读次数：
542
一、Hadoop的3中运行模式 1.1、单机模式。安装简单，几乎不用作任何配置，但仅限于调试用途； 1.2、伪分布式模式。在单节点上同时启动namenode、secondary namenode、datanode、JobTracker、TaskTracker 5个进程，模拟分布式运行的各个节点。 1 ...
分类：
其他好文 时间：
2016-08-20 00:07:30
阅读次数：
142
Job的运行过程 Job的具体运行过程 a) 运行mapred程序 b) 本次运行将生成一个Job,于是JobClient向JobTracker(ResourceManager)申请一个JobId以标识这个Job c) JobClient将Job所需要的资源提交到HDFS中一个以JOBID命名的目录 ...
分类：
其他好文 时间：
2016-08-19 19:00:52
阅读次数：
154
今天启动hadoop时，发现datanode启动不了，查看日志发现出现以下的错误： java.io.IOException: File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, ...
分类：
其他好文 时间：
2016-07-31 00:08:34
阅读次数：
159
hadoop的简单安装部署过程为了做些实验，所以在自己笔记本电脑上装了个虚拟机，系统为CentOS6.2，JDK1.7，hadoop-1.0.1为了简单起见，部署伪分布式，即仅有一个节点，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。部署总体说..
分类：
其他好文 时间：
2016-07-20 13:45:04
阅读次数：
183
转载自 http://weilaiyxj.iteye.com/blog/913166 本文约定： DN: DataNode TT: TaskTracker NN: NameNode SNN: Secondry NameNode JT: JobTracker 本文介绍Hadoop各节点和Client之 ...
分类：
其他好文 时间：
2016-07-09 14:50:23
阅读次数：
218
问题描述： 在集群模式下更改节点后，启动集群发现 datanode一直启动不起来。 我集群配置：有5个节点，分别为master slave1-5 。 在master以Hadoop用户执行：start-all.sh jps查看master节点启动情况： NameNode JobTracker Seco ...
分类：
其他好文 时间：
2016-06-13 13:21:53
阅读次数：
180
为从根本上解决旧 MapReduce 框架的性能瓶颈，促进 Hadoop 框架的更长远发展，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn，yarn对map... ...
分类：
其他好文 时间：
2016-05-25 12:54:43
阅读次数：
195
