本文地址：http://www.cnblogs.com/archimedes/p/hadoop-problem1.html，转载请注明源地址。问题1：http：//localhost：50030HTTPERROR:404/jobtracker.jspRequestURI=/jobtracker.js...
分类：
其他好文 时间：
2014-11-28 00:58:34
阅读次数：
185
上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker，这次把目光 移动到TaskTracker上面。TaskTracker在这里其实是一个slave的从属关系。我在后面的分析会通过TaskTracker的执行流程，主要讲他的2个过程的分析1.作业启动执行2.与JobTracker的heatbeat的过程。2个过程都是非常的典型。
与...
分类：
其他好文 时间：
2014-11-25 10:55:32
阅读次数：
321
JobTracker的作业调度给我感觉就是比较宏观意义上的操作。倘若你只了解了MapReduce的工作原理是远远不够的，这时去学习一下他在宏观层面的原理实现也是对我们非常有帮助的。首先我们又得从上次分析的任务提交之后的操作说起，Job作业通过RPC通信提交到JobTracker端之后，接下来会触发到下面的方法；
/**
* 初始化作业操作
*/
public void initJ...
分类：
其他好文 时间：
2014-11-23 13:14:55
阅读次数：
305
在Hadoop中，启动作业运行的方式有很多，可以用命令行格式把打包好后的作业提交还可以，用Hadoop的插件进行应用开发，在这么多的方式中，都会必经过一个流程，作业会以JobInProgress的形式提交到JobTracker中。什么叫JobTracker呢，也许有些人了解Hadoop只知道他的MapReduce计算模型，那个过程只是其中的Task执行的一个具体过程，比较微观上的流程，而JobTr...
分类：
其他好文 时间：
2014-11-21 23:24:09
阅读次数：
302
hadoop启动时报如下错误：错误分别在namenode和jobTracker日志文件都有org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete/usr/hadoop/tmp/mapred/system.Namenodeisinsafemode.Theratioofreportedblocks1.0000hasreachedthethreshold0.9990.Safemodewill..
分类：
其他好文 时间：
2014-11-16 18:54:48
阅读次数：
242
接着上篇来说。hadoop首先调度辅助型task(job-cleanup task、task-cleanup task和job-setup task)，这是由JobTracker来完成的；但对于计算型task，则是由作业调度器TaskScheduler来分配的，其默认实现为JobQueueTas.....
分类：
其他好文 时间：
2014-11-09 19:22:52
阅读次数：
183
基本思路，通过newlisp定时下载jobtracker页面，用正则表达式解析html中的table元素，然后获得最新的mapreduce的状态。每次获得装提数据后，存入mysql数据库，然后用tableau将mapreduce集群状态用报表呈现。这是jobtracker站点的数据这是Tableau绘制的报表这样就可以用数据可视化的方式展示Hadoop集群计算的压力状态。下面是newlisp代码，...
分类：
其他好文 时间：
2014-11-01 21:55:03
阅读次数：
381
前言 本文讲解Hadoop中的编程及计算模型MapReduce，并将给出在MapReduce模型下编程的基本套路。模型架构 在Hadoop中，用于执行计算任务(MapReduce任务)的机器有两个角色：一个是JobTracker，一个是TaskTracker，前者用于管理和调度工作，后者用于执行.....
分类：
其他好文 时间：
2014-10-29 18:42:56
阅读次数：
256
接着上篇来说，TaskTracker端的transmitHeartBeat()方法通过RPC调用JobTracker端的heartbeat()方法来接收心跳并返回心跳应答。还是先看看这张图，对它的大概流程有个了解。 下面来一段一段的分析该方法。 1 public synchronized He...
分类：
其他好文 时间：
2014-10-27 22:30:57
阅读次数：
360
在Hadoop中，MapReduce的Java作业通常由编写Mapper和Reducer开始，接着创建Job对象，然后使用该对象的set方法设置Mapper和Reducer以及诸如输入输出等参数，最后调用Job对象的waitForCompletion(true)方法提交作业并等待作业的完成。尽管使用了寥寥数语就描述了作业的创建和提交，但实际情况要复杂的多，本篇文章将通过分析源代码来深入学习该过程。...
分类：
其他好文 时间：
2014-10-27 17:48:18
阅读次数：
152
