jobtracker变成了ResourceManager和ApplicationMaster;
tasktraker变成了nodeManager
applicationMaster是一个可变更的部分，用户可以对不同的编程模型些自己的applicationMaster...
分类：
其他好文 时间：
2014-10-19 23:18:52
阅读次数：
196
与JobTracker一样，TaskTracker也有main()方法，然后以线程的方式启动(继承了Runnable接口)。main()方法中主要包含两步：一是创建一个TaskTracker对象；二是启动TaskTracker线程。 1 public static void main(Strin.....
分类：
其他好文 时间：
2014-10-15 20:34:21
阅读次数：
301
mapreduce中我们自己定义的mapper和reducer程序在运行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的运行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。 首先要明白的是mapreduce推断任务失败的方式。三种情况下任务...
分类：
其他好文 时间：
2014-10-12 20:07:38
阅读次数：
194
1、单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点 安装与配置步骤： 下载并解压Hadoo...
分类：
其他好文 时间：
2014-10-09 02:49:17
阅读次数：
246
理论基础：Hadoop 分布式文件系统架构HDFS 负责大数据存储MapReduce 负责大数据计算namenode master守护进程datanode slaves上负责存储的进程secondarynamenode master上提供周期检查和清理任务的进程jobtracker maste...
分类：
其他好文 时间：
2014-10-03 01:34:04
阅读次数：
451
首先，如果需要打印日志，不需要用log4j这些东西，直接用System.out.println即可，这些输出到stdout的日志信息可以在jobtracker站点最终找到。其次，如果在main函数启动的时候用System.out.println打印的日志，直接在控制台就可以看到。再其次，jobtracker站点很重要。http://your_name_node:50030/jobtracker.j...
分类：
其他好文 时间：
2014-10-02 20:12:33
阅读次数：
213
原文链接 MapReduce已经在hadoop-0.23中经历了彻底的检修，现在，我们有了称之为MapReduce2.0(MRv2) 或者 YARN的新的框架。 MRv2基本的理念是将JobTracker中两个主要的功能(资源管理和作业调度/监控)，拆分为单独...
分类：
其他好文 时间：
2014-10-02 13:43:03
阅读次数：
159
本篇主要介绍Job从客户端提交到JobTracker及其被初始化的过程。 以WordCount为例，以前的程序都是通过JobClient.runJob()方法来提交Job，但是现在大多用Job.waitForCompletion(true)方法来提交(true表示打印出运行过程)，但其本质都是...
分类：
其他好文 时间：
2014-09-29 00:39:36
阅读次数：
167
这部分的计划是这样的，首先解释JobTracker的启动过程和作业从JobClient提交到JobTracker上；然后；最后将整个流程debug一遍来加深映象。 在看JobTracker源代码的时候就会发现，它里边有main()方法，这就说明了它是一个独立的java进程。在hadoop根目录...
分类：
其他好文 时间：
2014-09-28 21:18:35
阅读次数：
152
MapReduce原理：
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTrac...
分类：
编程语言 时间：
2014-09-26 19:07:08
阅读次数：
187
