hadoop1
配置 mapred-site.xml,增加如下内容
mapred.jobtracker.taskScheduler
org.apache.hadoop.mapred.FairScheduler
<...
分类：
其他好文 时间：
2015-08-28 13:23:03
阅读次数：
139
角色描述：JobClient:执行任务的客户端JobTracker:任务调度器TaskTracker:任务跟踪器Task:具体的任务(Map OR Reduce)从生命周期的角度来看，mapreduce流程大概经历这样几个阶段：初始化、分配、执行、反馈、成功与失败的后续处理每个阶段所做的事情大致如下...
分类：
其他好文 时间：
2015-08-28 13:12:19
阅读次数：
164
MapReduce工作机制剖析：
1. 在集群中的任意一个节点提交MapReduce程序；
2. JobClient收到作业后，JobClient向JobTracker请求获取一个Job ID；
3. 将运行作业所需要的资源文件复制到HDFS上（包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息），这些文件都存放在JobTracker专...
分类：
其他好文 时间：
2015-08-11 01:26:20
阅读次数：
135
Storm的集群结构Storm与Hadoop的架构对比 主节点 工作节点 作业Storm Numbus Supervisor toplogies(拓扑)，死循环Hadoop JobTracker TaskTracker MapReduce Job，执行完成立即结...
分类：
其他好文 时间：
2015-08-02 21:31:41
阅读次数：
539
Hadoop集群中分主节点master节点和slave节点，master节点监控slave节点。master和slave之间通过ssh协议进行通信。
master节点上部署有JobTracker和NameNode，当然也可以部署TaskTracker和DataNode。slave节点上部署TaskTracker和DataNode节点。JobTracker监控TaskTracker，...
分类：
其他好文 时间：
2015-07-31 01:26:56
阅读次数：
97
一、基本概念 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方.....
分类：
其他好文 时间：
2015-07-26 15:24:26
阅读次数：
3309
可以在Hadoop作业中插桩计数器来分析其整体运作。在程序中定义不同的计数器，分别累计特定事件的发生次数。对于来自同一个作业所有任务的相同计数器，Hadoop会自动对它们进行求和， 以反映整个作业的情况。这些计数器的数值会在JobTracker的Web用户界面中与Hadoop的内部计数器一起显示.....
分类：
其他好文 时间：
2015-07-15 18:57:10
阅读次数：
334
Linux环境：CentOs6.4Hadoop版本：Hadoop-1.1.2master: 192.168.1.241 NameNode JobTracker DataNode TaskTrackerslave:192.168.1.242 DataNode TaskTracker内容：设置DataN...
分类：
其他好文 时间：
2015-07-14 15:25:29
阅读次数：
147
MapReduce原理图：MapReduce具体执行过程图：首先是客户端要编写好mapreduce程序，配置好mapreduce的作业也就是job，接下来就是提交job了，提交job是提交到JobTracker上的，这个时候JobTracker就会构建这个job，具体就是分配一个新的job任务的ID...
分类：
其他好文 时间：
2015-07-13 20:16:34
阅读次数：
209
《Hadoop权威指南(第2版)》来讲，伪分布式（pseude-distributed model）是指Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker...
分类：
其他好文 时间：
2015-07-13 18:17:03
阅读次数：
144
