1）引言
针对MRv1在扩展性，可靠性，资源利用率和多框架的支持上存在着明显的不足，进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapRe...
分类：
其他好文 时间：
2014-12-15 15:32:39
阅读次数：
212
When a container recieved a INIT_CONTAINER event, the state machine of containerImpl will execute the transaction RequestResourcesTransition, one of w...
分类：
其他好文 时间：
2014-12-14 19:59:40
阅读次数：
145
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2 .mobi: http://www....
分类：
Web程序 时间：
2014-12-13 19:26:27
阅读次数：
180
1. sparkContext中设置createTaskScheduler 1 case "yarn-standalone" | "yarn-cluster" => 2 if (master == "yarn-standalone") { 3 logW...
分类：
其他好文 时间：
2014-12-11 23:56:29
阅读次数：
255
以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARN HA的搭建，直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，没有仔细看hadoop的官方文档，貌似hadoop2.2.0不支持YARN HA，如...
分类：
其他好文 时间：
2014-12-10 17:56:41
阅读次数：
256
spark在很多时候由于配置的原因造成缺少jar包的情况，本文介绍了两种缺少jar包情况，并介绍了如何使用spark-submit的--jars和--driver-class-path参数将jar包动态调用。...
分类：
编程语言 时间：
2014-12-09 17:54:48
阅读次数：
318
简介本向导简述了YARN资源管理器的HA，并详述了如何配置并使用该特性。RM负责追踪集群中的资源，并调度应用程序（如MapReduce作业）。Hadoop2.4以前，RM是YARN集群中的单点故障。HA特性以Active/Standby RM对的形式对集群添加了冗余，从而消除了这种单点故障。架构RM...
分类：
Web程序 时间：
2014-12-08 13:45:06
阅读次数：
323
发布Apache Hadoop 2.6.0——异构存储，长时间运行的服务与滚动升级支持
我很高兴地宣布，在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt！
特别是，我们很高兴在此版本中相关的三个主要片：异构存储在HDFS使用SSD和内存层，支持长时间运行在YARN服务和滚动升级，将升级您的集群软件，然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心，Hado...
分类：
Web程序 时间：
2014-12-08 12:28:20
阅读次数：
224
最近线上的的nm有crash的问题，查看错误日志：2014-06-1900:01:22,308FATAL
org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService:Error:Shuttingdownjava.util.
ConcurrentModificationException
atjava.util.LinkedList$ListI..
分类：
其他好文 时间：
2014-12-07 15:09:11
阅读次数：
251
本文介绍了ResourceManager的HA特性，并详细描述了如何配置RM的HA及自动故障转移...
分类：
其他好文 时间：
2014-12-04 18:04:28
阅读次数：
243
