1.Hadoop的3种运行模式单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点完全分布式模式：正常的Hadoop集群，由多个各司其职的节..
分类：
其他好文 时间：
2015-05-09 20:36:04
阅读次数：
169
本文约定：DN: DataNodeTT: TaskTrackerNN: NameNodeSNN: Secondry NameNodeJT: JobTracker本文介绍Hadoop各节点和Client之间通信协议。Hadoop的通信是建立在RPC的基础上，关于RPC的详解介绍大家可以参照"hadoo...
分类：
其他好文 时间：
2015-05-06 22:51:00
阅读次数：
188
Hadoop中MapReduce 的执行也是采用Master/Slave 主从结构的方式。其中JobTracker 充当了Master的角色，而TaskTracker 充当了Slave 的角色。Master负责接受客户端提交的Job，然后调度Job的每一个子任务Task运行于Slave上，并监控.....
分类：
其他好文 时间：
2015-05-06 22:39:19
阅读次数：
207
本文约定：DN: DataNodeTT: TaskTrackerNN: NameNodeSNN: Secondry NameNodeJT: JobTracker本文介绍Hadoop各节点和Client之间通信协议。Hadoop的通信是建立在RPC的基础上，关于RPC的详解介绍大家可以参照"hadoo...
分类：
其他好文 时间：
2015-05-06 20:54:58
阅读次数：
109
1、单机模式：安装简单，几乎不用做任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点3、完全分布式模式：正常的Hadoop集群，由多个各司...
分类：
其他好文 时间：
2015-05-05 10:23:52
阅读次数：
168
参考刘鹏的《实战Hadoop》一书，按照hadoop0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。NameNode，SecondaryNameNode，JobTracker,TaskTracker,DataNode这几个角色。NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在..
分类：
其他好文 时间：
2015-04-26 01:33:16
阅读次数：
151
The fundamental idea of YARN is to split the two major responsibilities of the JobTracker—that is, resource management and job scheduling/monitoring—i...
分类：
其他好文 时间：
2015-04-24 07:53:21
阅读次数：
165
作业在运行时,数据或者是作业调用的一个运行图. 用户写的代码通过JobClient提交给JobTracker Job对象中封装了JobClient JobConf和我们的Job对象几乎是一回事. 把我们的代码打包成jar包,上传到hdfs中,JobClient就会获得一个jar包在...
分类：
其他好文 时间：
2015-04-21 01:45:44
阅读次数：
131
大事件：? Hadoop新一代(2.x)计算平台YARN 一代hadoop存在的问题： 1.Jobtracker单点，容易导致崩溃，节点较多时造成性能瓶颈 2.作业分配基于槽位（slot），分配粒度太粗 3.Jobtracker和Tasktracker多次来回斱能启动作业，导致小...
分类：
其他好文 时间：
2015-04-20 10:57:03
阅读次数：
150
1.hadoop的分布式安装过程1.1 分布结构主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker1.2 各节点重新产生ssh加密文件1.3 编辑各个节...
分类：
其他好文 时间：
2015-04-20 00:26:26
阅读次数：
156
