hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。 namenode与datanode之间的通信，jobtracker与tasktracker之间的通信，都是通过“心跳”完成的，hadoop的心跳机制的底层 ...
分类：
其他好文 时间：
2018-06-03 12:46:32
阅读次数：
767
YARN产生背景 单点故障 节点压力大 不易扩展 单点故障 节点压力大 MapReduce1.x时的架构如下： 可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多个TaskTracker。 JobTracker：负责资源管理和作业调度TaskT ...
分类：
其他好文 时间：
2018-05-09 19:27:14
阅读次数：
202
1.3Hadoop基础知识 1.3.1术语解释 1.Hadoop1.0 ? 第一代Hadoop，由分布式文件系统HDFS 和分布式计算框架MapReduce组成 ? HDFS由一个NameNode和多个DataNode 组成 ? MapReduce由一个JobTracker和多个 TaskTrack ...
分类：
其他好文 时间：
2018-03-14 23:42:37
阅读次数：
259
HDFS 分布式文件系统
Namenode
Secondarynode
Datanode
MapReduce 分布式计算框架
JobTracker
TaskTracker
Map Task
Reducer Task
Yarn 集群资源管理系统
Resourcemanager
Nodemanager
ApplicationMaste...
分类：
其他好文 时间：
2018-03-06 17:06:54
阅读次数：
175
友情提示：本文超级长，请备好瓜子Hadoop的运行模式单机模式是Hadoop的默认模式，在该模式下无需任何守护进程，所有程序都在单个JVM上运行，该模式主要用于开发和调试mapreduce的应用逻辑；伪分布式模式下，Hadoop守护进程运行在一台机器上，模拟一个小规模的集群。该模式在单机模式的基础上增加了代码调试的功能，允许你检查NameNode，DataNode，Jobtracker，Taskt
分类：
其他好文 时间：
2018-01-30 12:12:41
阅读次数：
178
首先运行bin/start-all.sh发现namenode没有启动 只有它们 9428 DataNode 9712 JobTracker 9626 SecondaryNameNode 9983 Jps 9915 TaskTracker 遇到问题要学会翻看日志 cd /usr/local/hadoo ...
分类：
其他好文 时间：
2017-12-20 20:09:57
阅读次数：
228
在Yarn中，JobTracker被分为两部分：ResourceManager（RM）和ApplicationMaster（AM）。 MRv1主要由三部分组成：编程模型(API)、数据处理引擎(MapTask和ReduceTask)和运行环境(JobTracker和TaskTracker);Yarn ...
分类：
其他好文 时间：
2017-11-22 19:57:49
阅读次数：
235
产生背景 直接源于MRv1在几个方面的缺陷 扩展性受限(NameNode,JobTracker设计为单一节点，内存容量有限) 单点故障 难以支持MR之外的计算 slot数目无法动态修改，Map slot，Reduce slot不能共享 优点： 将资源管理和作业控制分离，减小JobTracker压力 ...
分类：
其他好文 时间：
2017-11-10 00:10:56
阅读次数：
176
Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker； Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS：HA、NameNode Federation ...
分类：
其他好文 时间：
2017-10-16 23:23:09
阅读次数：
237
hadoop分别从3个角度将主机划分为2种角色 最基本的是Master 和 从HDFS角度，将主机划分为namenode和datanode，在分布式文件系统中，目录管理很重要，管理目录相当于主人 从mapreduce角度，划分为jobtracker和tasktracker（一个job常被划分为多个t ...
分类：
其他好文 时间：
2017-08-29 21:38:45
阅读次数：
162
