在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下：
yarn.nodemanager.resource.cpu-vcores
30
NodeManager总的可用虚拟CPU个数
virutal core的概念是将所有physical cpu组成8个可调度的队列，linux使得有任务的...
分类：
其他好文 时间：
2015-07-08 13:03:47
阅读次数：
324
CopyOnWriteArrayList类最大的特点就是，在对其实例进行修改操作（add/remove等）会新建一个数据并修改，修改完毕之后，再将原来的引用指向新的数组。这样，修改过程没有修改原来的数组。也就没有了ConcurrentModificationException错误。 从上面的结...
分类：
其他好文 时间：
2015-07-04 00:40:00
阅读次数：
172
15/07/01 20:14:41 FATAL containermanager.AuxServices: Failed to initialize mapreduce.shufflejava.lang.IllegalArgumentException: The ServiceName: mapre...
分类：
其他好文 时间：
2015-07-02 22:19:57
阅读次数：
430
导读内容：
1.如何通过web查看hdfs集群状态
2.如何通过web查看运行在在主节点master上ResourceManager状态
3.如何通过web查看运行在在slave节点NodeManager资源状态
4.JobHistory 可以查看什么信息
分类：
Web程序 时间：
2015-07-01 15:39:47
阅读次数：
167
今天在对一个Hashtable对象进行 搜索 -> 删除 操作时遇到的一个问题，开始的使用我使用的是Hashtable的Iterator，然后直接执行：Hashtable.remove(key); 抛出异常java.util.ConcurrentModificationException查了一下ja...
分类：
编程语言 时间：
2015-06-17 14:48:57
阅读次数：
133
java.util.ConcurrentModificationException 解决办法今天在项目的中有一个需求，需要在一个Set类型的集合中删除满足条件的对象，这时想当然地想到直接调用Set的remove(Object o)方法将指定的对象删除即可，测试代码： public class Tes...
分类：
其他好文 时间：
2015-06-16 21:03:47
阅读次数：
137
总结一：
关于内存的配置总共有以下几个方面：
以下的示例数据为gdc中的配置
（1）每个节点可用于container的内存与虚拟内存
NM的内存资源配置，主要是通过下面两个参数进行的（这两个值是Yarn平台特性，应在yarn-sit.xml中配置） ：
yarn.nodemanager.resource.memory-mb 94208
yarn.nodemanager.vmem-...
分类：
其他好文 时间：
2015-06-16 19:24:28
阅读次数：
369
1、修改etc/hadoop/yarn.sh，增加以下内容
export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”
export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_soc...
分类：
其他好文 时间：
2015-06-16 19:22:56
阅读次数：
131
上一篇文章——Hadoop2.6.0集群部署中，我们可以看到，Hadoop集群启动后的服务情况：[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了，或者听说过mapreduce，可能网上资料更多..
分类：
编程语言 时间：
2015-06-12 15:11:33
阅读次数：
213
当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行...
分类：
其他好文 时间：
2015-05-28 15:45:04
阅读次数：
144
