hadoop2概述 hadoop1和hadoop2的结构比较: hadoop1中有HDFS和MapReduce.HDFS负责存储,MapReduce负责计算,但是有几个问题需要解决: 1.单点的问题.HDFS的namenode和MapReduce的jobTracker...
分类：
其他好文 时间：
2015-07-09 06:19:08
阅读次数：
170
YARN即MapReduceV2版本。相比MapReduceV1它有很多优点：1.分散了jobTracker的任务。资源管理任务由资源管理器负责，作业启动、运行和监测任务由分布在集群节点上的应用主题负责。这样大大减缓了MapReduceV1中jobTracker单点瓶颈和单点风险的问题，大大提高了集群的扩展性和可用..
分类：
其他好文 时间：
2015-07-06 00:12:21
阅读次数：
429
主从结构 主节点：JobTracker（一个） 从节点：TaskTrackers（多个）JbkTracker： 接收客户提交的计算人物 把计算任务分配给TaskTrackers执行 监控TaskTracker执行情况TaskTrackers： 执行JobTracker分配的计算任务
分类：
其他好文 时间：
2015-07-05 07:06:54
阅读次数：
116
MRv1缺点1、JobTracker容易存在单点故障2、JobTracker负担重，既要负责资源管理，又要进行作业调度；当需处理太多任务时，会造成过多的资源消耗。3、当mapreduce job非常多的时候，会造成很大的内存开销，在
TaskTracker端，以mapreduce task的数目作为资源的表示过于简单，没有考虑到cpu以及内存的占用情况，如果两个大内存消耗的task被调度到了一块，...
分类：
其他好文 时间：
2015-06-23 23:12:30
阅读次数：
2933
MRv1: 当一个客户端向一个 Hadoop 集群发出一个请求时，此请求由 JobTracker 管理。JobTracker 与 NameNode 联合将工作分发到离它所处理的数据尽可能近的位置。NameNode 是文件系统的主系统，提供元数据服务来执行...
分类：
其他好文 时间：
2015-06-19 15:30:02
阅读次数：
120
一. yarn产生背景： 1. mapreduce 1.0的问题： 1）JobTracker性能问题 ， 2）JobTracker单点问题 ，3）只支持mapreduce一个计算框架 2. 资源利用率：3. 运维成本与数据共享： 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理...
分类：
其他好文 时间：
2015-06-15 12:58:59
阅读次数：
121
1. MapReduce架构： 各个角色的功能： 2. MapReduce——容错性： JobTracker 单点故障，一旦出现故障，整个集群不可用 TaskTracker 周期性向JobTracker汇报心跳 一旦出现故障，上面所有任务将被调度到其他节点上 MapTask/ReduceTask 运...
分类：
其他好文 时间：
2015-06-12 20:48:18
阅读次数：
173
上一篇文章——Hadoop2.6.0集群部署中，我们可以看到，Hadoop集群启动后的服务情况：[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了，或者听说过mapreduce，可能网上资料更多..
分类：
编程语言 时间：
2015-06-12 15:11:33
阅读次数：
213
错误处理出现错误主要有以下三种：
1、Task任务
2、JobTracker失败
3、TaskTracker失败Task任务1、当map或者reduce子任务中的代码抛出异常，JVM进程会在退出之前向服务tasktracker进程发送错误报告，tasktracker会将此（任务尝试）taskattempt标记为failed状态，释放一个槽以便运行另外一个任务。2、对于流任务，如果流进程以非零退...
分类：
其他好文 时间：
2015-06-10 17:23:33
阅读次数：
778
Yarn是随着hadoop发展而催生的新框架，全称是Yet Another Resource Negotiator，可以翻译为“另一个资源管理器”。yarn取代了以前hadoop中jobtracker（后面简写JT）的角色，因为以前JT的 任务过重，负责任务的调度、跟踪、失败重启等过程，而且只能运行...
分类：
其他好文 时间：
2015-06-09 16:51:17
阅读次数：
3894
