安装好Hadoop后，使用jps会出现一下几个进程
master中有：
namenode
secondaryNameNode
jobTracker
slaves中有
tasktracker
datanode
1. NameNode
它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
2. Second...
分类：
系统相关 时间：
2015-01-10 13:57:03
阅读次数：
232
在hadoop-0.23版本中， MapReduce已经做了一次全面的修改，这也正是我们现在所说的 MapReduce 2.0 (MRv2) 或者是 YARN.
MRv2的基本思想是将JobTracker的两个主要的功能，一个是资源管理，一个是作业的调度和监控，
分成各自独立的后台进程。这个思想说的是拥有一个全局的资源管理器（ ResourceManager (RM)），还有一个是每个应用程序都拥有的应用主控器（ApplicationMaster (AM)）。一个应用程序可以是一个传统的Map-Reduce...
分类：
Web程序 时间：
2015-01-09 17:27:45
阅读次数：
192
今天在使用Hive查询某分析数据最大值的时候，出现了一定的问题，hive中现象如下：
Caused by: java.io.FileNotFoundException://http://slave1:50060/tasklog?attemptid=attempt_201501050454_0006_m_00001_1
然后查看一下jobtracker的日志：
20...
分类：
其他好文 时间：
2015-01-06 15:41:24
阅读次数：
212
本文发表于本人博客。这次来看看我们的客户端用url方式来连接JobTracker。我们已经搭建了伪分布环境，就知道了地址。现在我们查看HDFS上的文件，比如地址：hdfs://hadoop-master:9000/data/test.txt。看下面代码： static final String...
分类：
编程语言 时间：
2014-12-17 09:48:36
阅读次数：
175
本例使用的环境：Windows+VirtualBox. VirtualBox下安装三个ubuntu系统（可以安装一台后，使用VirtualBox自带的工具VBoxManage.exe来进行复制），三台机器分别命名为h1.h2,h3。其中，h1作为master，运行namenode和jobtracker，h2和h3作为slaves，运行datanode和tasktracker。
1.在每个...
分类：
其他好文 时间：
2014-12-16 11:50:12
阅读次数：
202
1）引言
针对MRv1在扩展性，可靠性，资源利用率和多框架的支持上存在着明显的不足，进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapRe...
分类：
其他好文 时间：
2014-12-15 15:32:39
阅读次数：
212
前言 对于Hadoop集群来说，节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏，不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。硬件故障 硬件故障可以分为两种 - JobTracker节点损坏和TaskTracker节点损坏。 1.J...
分类：
其他好文 时间：
2014-12-12 23:30:07
阅读次数：
276
JobTracker是整个MapReduce计算框架中的主服务，相当于集群的“管理者”，负责整个集群的作业控制和资源管理。本文对JobTracker的启动过程及心跳接收与应答两个主要功能进行分析。1JobTracker启动过程1.1各种线程功能函数offerService()会启动JobTracke...
分类：
其他好文 时间：
2014-12-06 13:58:21
阅读次数：
290
MapReduce 角色?Client ：作业提交发起者。?JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。?TaskTracker：保持JobTracker通信，在分配的数据片段上执行MapReduce任务。提交作业?在作业提交之前，需要对作业进行配置?程...
分类：
其他好文 时间：
2014-12-05 10:37:29
阅读次数：
562
一、先理解MapReduce作业组成
一个完整的MapReduce作业称作job，它包括三部分：
输入数据MapReduce程序配置信息
Hadoop工作时会将job分成若干个task：map任务和reduce任务
有两类节点控制作业执行的过程：JobTracker和TaskTracker
JobTra...
分类：
其他好文 时间：
2014-12-01 20:55:53
阅读次数：
280
