用ansible实现较复杂的shell命令：1.ansible-i/tmp/batchtwoall-mshell-a"foriin\`psaux|grepproc_nodemanager|grep-vgrep|awk‘{print\$2}‘\`;doecho\$i;done"-k-uroot
分类：
其他好文 时间：
2015-03-12 15:19:30
阅读次数：
121
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
mapreduce_shuffle does not exist
提交作业出现类似下面的错误：
mapreduce_shuffle does not exist
解决办法：
在 yarn-site.xml 配置文件中增加：
yarn.nodemanager.aux-services
mapreduce_shuffle...
分类：
其他好文 时间：
2015-01-22 18:15:37
阅读次数：
182
1. hadoop集群：1.1 系统及硬件配置： hadoop版本：2.6 ；三台虚拟机：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每台机器2G内存、1个CPU核； node101: NodeManager、 NameNode、ResourceManager、DataNode； ...
分类：
编程语言 时间：
2015-01-11 06:15:09
阅读次数：
307
最新的Spark 1.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能，需做以下操作： 一： 在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services...
分类：
数据库 时间：
2015-01-09 00:22:12
阅读次数：
1652
在概况(一)中，主要简单的对Yarn的情况作了简单的介绍，今天花一定时间在某些具体的模块上呈现以下Yarn的整体情况，帮助大家更好的理解Yarn。
1）ResourceManager
在Yarn的整体架构中，他用的也是Master/Slave架构，他的Slave是NodeManager，RM在Yarn中扮演着一个非常重要的角色，他是负责集群中所有资源的统一管理和分配的。他根据各个NM的资源汇报...
分类：
其他好文 时间：
2014-12-16 17:08:18
阅读次数：
178
最近线上的的nm有crash的问题，查看错误日志：2014-06-1900:01:22,308FATAL
org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService:Error:Shuttingdownjava.util.
ConcurrentModificationException
atjava.util.LinkedList$ListI..
分类：
其他好文 时间：
2014-12-07 15:09:11
阅读次数：
251
在yarn中对yarn.nodemanager.local-dirs的状态更新操作，定义在LocalDirsHandlerService（org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService）相关类中，在nm启动时，会启动一个LocalDirsHandlerService服务，循环检测yarn.nodemanager.local-dirs和yarn.nod..
分类：
其他好文 时间：
2014-12-02 00:15:42
阅读次数：
296
Hadoop 2.x 安装常见问题FAQ（一） NodeManager 无法启动问题解决
分类：
其他好文 时间：
2014-11-05 21:18:36
阅读次数：
158
