Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本，运行环境依赖JobTracker和TaskTracker，运行资源通过作业表示模型MapTask和ReduceTask来组成；运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本，在开发模型上类似1，都...
分类：
其他好文 时间：
2014-05-18 19:24:17
阅读次数：
291
mapreduce
job提交流程源码级分析（二）（原创）这篇文章说到了jobSubmitClient.submitJob(jobId,
submitJobDir.toString(),
jobCopy.getCredentials())提交job，最终调用的是JobTracker.submit.....
分类：
其他好文 时间：
2014-05-11 16:32:10
阅读次数：
289
org.apache.hadoop.mapred.JobTracker类是个独立的进程，有自己的main函数。JobTracker是在网络环境中提交及运行MR任务的核心位置。
main方法主要代码有两句：1 //创建jobTracker对象2 JobTracker t...
分类：
其他好文 时间：
2014-05-08 22:51:48
阅读次数：
368
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
集群安装配置Hadoop
集群节点：node4、node5、node6、node7、node8。具体架构：
node4
Namenode,secondnamenode,jobtracker
node5
Datanode,tasktracker
node6
Datanode,tasktracker...
分类：
其他好文 时间：
2014-05-07 02:52:47
阅读次数：
361
一个任务出现失败时，tasktracker会将此任务的失败信息报告给jobtracker，jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败，且失败次数超出失败的最大指定次数，那么作业会在未完成的情况下被终止。mapred-site.xm...
分类：
其他好文 时间：
2014-04-29 16:47:48
阅读次数：
521
