Hadoop是一个能够对大量数据进行分布式处理的软体框架，实现了Google的MapReduce编程模型和框架，能够把应用程式分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程式称为「作业（job）」，而从一个作业划分出 得、运行于各个计 ...
分类：
其他好文 时间：
2017-08-21 00:27:31
阅读次数：
158
MR框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点上的TaskTracker共同组成。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的不同的从节点上。主节点监视它们的执行情况，并重新执行之前失败的任务。从节点仅负责由主节点指派的任务。当一个Job被提交时，Job ...
分类：
其他好文 时间：
2017-08-12 19:45:43
阅读次数：
213
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 ...
分类：
其他好文 时间：
2017-08-12 19:44:18
阅读次数：
278
MR(MapReduce)运行过程 client程序--》提交job至JobTracker--》分配job ID--》JobTracker检查输入文件存在，输出文件不存在--》进行输入分片--》Jobtracker分配资源--》初始化job（初始化就是创建一个正在运行的job对象（封装任务和记录信息 ...
分类：
其他好文 时间：
2017-07-24 09:59:05
阅读次数：
172
MapReduce的运行流程简单概括例如以下：用户作业运行JobClient.runJob(conf)代码会在Hadoop集群上将其启动。启动之后JobClient实例会向JobTracker获取JobId。并且client会将作业运行须要的作业资源拷贝到HDFS上，然后将作业提交给JobTrack ...
分类：
其他好文 时间：
2017-07-17 20:24:16
阅读次数：
187
一、基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管 ...
分类：
其他好文 时间：
2017-07-10 14:26:27
阅读次数：
254
Shuffle描述着数据从map task输出到reduce task输入的这段过程。 如map 端的细节图，Shuffle在reduce端的过程也能用图上标明的三点来概括。当前reduce copy数据的前提是它要从JobTracker获得有哪些map task已执行结束，这段过程不表，有兴趣的朋 ...
分类：
其他好文 时间：
2017-07-06 20:35:01
阅读次数：
175
一 概述 MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后。资源管理模块则交由YARN实现，这样为了让MapReduce框架执行在 ...
分类：
移动开发 时间：
2017-07-03 15:11:06
阅读次数：
282
一、MRv1 Master - Slave 模式 主要包含4部分：JobTracker，TaskTracker，Task，Client JobTracker：负责整个MR集群的资源监控和作业调度，集群的Master。它把任务进度 和 资源使用量告诉调度器TaskScheduler，由调度器来计划如何 ...
分类：
其他好文 时间：
2017-06-26 10:12:08
阅读次数：
168
一、SSH无密码登录原理 此操作是为了搭建hadoop集群进行的操作 Master(NameNode|JobTracker)作为客户端，要实现无密码公钥认证，连接到服务器Salve(DataNode|Tasktracker)上的时候，需要在Master上生成一个密钥对（公钥和私钥），当Master通 ...
分类：
系统相关 时间：
2017-06-19 18:39:48
阅读次数：
305
