简介本向导简述了YARN资源管理器的HA，并详述了如何配置并使用该特性。RM负责追踪集群中的资源，并调度应用程序（如MapReduce作业）。Hadoop2.4以前，RM是YARN集群中的单点故障。HA特性以Active/Standby RM对的形式对集群添加了冗余，从而消除了这种单点故障。架构RM...
分类：
Web程序 时间：
2014-12-08 13:45:06
阅读次数：
323
Hadoop核心项目：HDFS（Hadoop Distributed File System分布式文件系统），MapReduce（并行计算框架）
HDFS架构的主从结构：主节点，只有一个namenode，负责接收用户操作请求，维护文件系统的目录结构，管理文件与block之间关系，block与datanode之间的关系。
从节点，有很多个datanodes，负责存储文件，文件被分成block存储...
分类：
其他好文 时间：
2014-12-08 09:23:22
阅读次数：
231
为了优化MapReduce及MR之前的各种工具的性能，在Hadoop内建的数据存储格式外，又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile，以及配合Impala实现出Google Dremel功能(类似甚至是功能的超集)的Parquet等。今天就来一起学习一下HDFS中数据存储的进化历程。数据摆放结构数据摆放结构(data placement structure)，顾名思义，就是数...
分类：
其他好文 时间：
2014-12-06 19:32:48
阅读次数：
620
JobTracker是整个MapReduce计算框架中的主服务，相当于集群的“管理者”，负责整个集群的作业控制和资源管理。本文对JobTracker的启动过程及心跳接收与应答两个主要功能进行分析。1JobTracker启动过程1.1各种线程功能函数offerService()会启动JobTracke...
分类：
其他好文 时间：
2014-12-06 13:58:21
阅读次数：
290
刚开始阅读《Mongodb入门手册》时候看到mapreduce，当时感觉好难，就直接忽略了。现在重新看到这部分知识的时候，痛下决心学习这块知识。
一、概念说明
MongoDB的MapReduce相当于Mysql中“group by”,在mongodb上使用mapreduce执行并行数据统计很容易；使用MapReduce要实现两个函数： map 和 reduce.
map函数调用emit(k...
分类：
数据库 时间：
2014-12-06 01:28:11
阅读次数：
224
问题1：java.lang.IncompatibleClassChangeError:Found interface org.apache.hadoop.mapreduce.JobContext, but class was expectedat org.apache.mahout.common.H...
分类：
其他好文 时间：
2014-12-05 19:14:19
阅读次数：
1053
转至元数据起始
Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。
项目地址：http://sqoop.apache.org/
目前为止，已经演化出了2个版本：sqoop1和sqoop2。
sqoop1的最新版本是1.4....
分类：
其他好文 时间：
2014-12-05 14:21:44
阅读次数：
335
转自：http://blog.csdn.net/opennaive/article/details/7514146江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI...
分类：
其他好文 时间：
2014-12-05 14:15:08
阅读次数：
206
Apache Hadoop 2.6.0发布了，新的稳定版，发布频率和质量越来越高了，增加了很多东西，从安装包的大小就能看出来，直接增加了50M，30%有木有。
下面看一下，2.6.0都有啥好东西。
Common：
1. Hadoop Key Management Server（KMS）是一个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了一个client...
分类：
Web程序 时间：
2014-12-05 12:46:16
阅读次数：
193
MapReduce 角色?Client ：作业提交发起者。?JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。?TaskTracker：保持JobTracker通信，在分配的数据片段上执行MapReduce任务。提交作业?在作业提交之前，需要对作业进行配置?程...
分类：
其他好文 时间：
2014-12-05 10:37:29
阅读次数：
562
