TDW 是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案。TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源...
分类：
其他好文 时间：
2014-08-21 16:39:04
阅读次数：
252
hadoop的分布式安装过程 分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker 我的配置：用户名/密码均为：root/huanghe ...
分类：
其他好文 时间：
2014-08-18 01:31:33
阅读次数：
233
上一节分析到了JobTracker把任务从队列里取出来并进行了初始化，所谓的初始化，主要是获取了Map、Reduce任务的数量，并统计了哪些DataNode所在的服务器可以处理哪些Split等等，将这些信息缓存起来，但还没有进行实质的分配。等待TaskTracker跟自己通信。TaskTracker...
分类：
其他好文 时间：
2014-08-18 00:03:43
阅读次数：
253
上一节分析了Job由JobClient提交到JobTracker的流程，利用RPC机制，JobTracker接收到Job ID和Job所在HDFS的目录，够早了JobInProgress对象，丢入队列，另一个线程从队列中取出JobInProgress对象，并丢入线程池中执行，执行JobInProgr...
分类：
其他好文 时间：
2014-08-17 03:45:51
阅读次数：
383
上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下任务提交过程。MapReduce集群包含一个JobTracker和多个TaskTracker，这里先不考虑YARN，仍然依据1版本进行分析。一个MapReduce...
分类：
其他好文 时间：
2014-08-17 02:20:01
阅读次数：
320
Hadoop1.x和Hadoop2.0构成图对比Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS....
分类：
其他好文 时间：
2014-08-02 15:24:53
阅读次数：
403
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的执行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。...
分类：
其他好文 时间：
2014-07-30 12:21:22
阅读次数：
209
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
这里我们先说一下MapReduce V1的局限性：JobTracker单点瓶颈。MapReduce中的JobTracker负责作业的分发、管理和调度，同时还必须和集群中所有的节点保持Heartbeat通信，了解机器的运行状态和资源情况。很明显，MapReduce中独一无二的JobTracker负责了...
分类：
其他好文 时间：
2014-07-09 14:35:36
阅读次数：
376
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类：
其他好文 时间：
2014-06-22 14:07:49
阅读次数：
256
