hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
本打算使用mapr的虚拟机在里面进行开发,使用eclipse进行调试,它的问题是,有时候服务不能完全起来,如jobtracker和tasktracker,cldb没有起来,重启服务有可能解决.但另外一个问题是我使用eclipse和0.20.2的插件,无法连接DFS location,无法调试hado...
分类：
其他好文 时间：
2014-06-16 23:40:12
阅读次数：
320
MRv1
Storm
JobTracker
Nimbus
TaskTracker
Supervisor
Child
Worker
Job
Topology
Map/Reduce
Spout/Blot
shuffle
Stream grouping...
分类：
其他好文 时间：
2014-06-16 21:24:47
阅读次数：
228
Hadoop 分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode,
DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类：
其他好文 时间：
2014-06-16 07:43:06
阅读次数：
214
localhost:50030/jobtracker.jsplocalhost:50060/tasktracker.jsplocalhost:50070/dfshealth.jsp1. NameNode进程 NameNode节点进程 – 运行在端口9000上INFO org.apache.hadoo...
分类：
其他好文 时间：
2014-06-14 15:11:04
阅读次数：
350
JobTracker和TaskTracker分别启动之后(JobTracker启动流程源码级分析，TaskTracker启动过程源码级分析)，taskTracker会通过心跳与JobTracker通信，并获取分配它的任务。用户将作业提交到JobTracker之后，放入相应的数据结构中，静等被分配.....
分类：
其他好文 时间：
2014-06-13 07:43:44
阅读次数：
387
TaskTracker也是作为一个单独的JVM来运行的，其main函数就是TaskTracker的入口函数，当运行start-all.sh时，脚本就是通过SSH运行该函数来启动TaskTracker的。
TaskTracker是JobTracker和Task之间的桥梁：一方面，从JobTrac...
分类：
其他好文 时间：
2014-06-05 17:21:13
阅读次数：
288
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
mapreduce
job提交流程源码级分析（三）中已经说明用户最终调用JobTracker.submitJob方法来向JobTracker提交作业。而这个方法的核心提交方法是JobTracker.addJob(JobID
jobId, JobInProgress job)方法，这个addJob.....
分类：
其他好文 时间：
2014-05-26 23:20:49
阅读次数：
354
简介
此文档描述了如何配置Hadoop HTTP web控制台，去要求用户认证。
默认地，Hadoop HTTP web控制台(JobTracker, NameNode, TaskTrackers 和 DataNodes)不需要任何认证就允许访问。
与Hadoop RPC相似, Hadoop HTTP web控制台可以被配置为需要使用HTTP SPNEGO协议认证(由FireFo...
分类：
Web程序 时间：
2014-05-22 23:40:12
阅读次数：
347
