在yarn-site.xml中,可以配置virutal core的个数,请注意不是physical core的个数,相关配置如下:
yarn.nodemanager.resource.cpu-vcores
30
NodeManager总的可用虚拟CPU个数
virutal core的概念是将所有physical cpu组成8个可调度的队列,linux使得有任务的...
分类:
其他好文 时间:
2015-07-08 13:03:47
阅读次数:
324
CopyOnWriteArrayList类最大的特点就是,在对其实例进行修改操作(add/remove等)会新建一个数据并修改,修改完毕之后,再将原来的引用指向新的数组。这样,修改过程没有修改原来的数组。也就没有了ConcurrentModificationException错误。 从上面的结...
分类:
其他好文 时间:
2015-07-04 00:40:00
阅读次数:
172
15/07/01 20:14:41 FATAL containermanager.AuxServices: Failed to initialize mapreduce.shufflejava.lang.IllegalArgumentException: The ServiceName: mapre...
分类:
其他好文 时间:
2015-07-02 22:19:57
阅读次数:
430
导读内容:
1.如何通过web查看hdfs集群状态
2.如何通过web查看运行在在主节点master上ResourceManager状态
3.如何通过web查看运行在在slave节点NodeManager资源状态
4.JobHistory 可以查看什么信息
分类:
Web程序 时间:
2015-07-01 15:39:47
阅读次数:
167
今天在对一个Hashtable对象进行 搜索 -> 删除 操作时遇到的一个问题,开始的使用我使用的是Hashtable的Iterator,然后直接执行:Hashtable.remove(key); 抛出异常java.util.ConcurrentModificationException查了一下ja...
分类:
编程语言 时间:
2015-06-17 14:48:57
阅读次数:
133
java.util.ConcurrentModificationException 解决办法今天在项目的中有一个需求,需要在一个Set类型的集合中删除满足条件的对象,这时想当然地想到直接调用Set的remove(Object o)方法将指定的对象删除即可,测试代码: public class Tes...
分类:
其他好文 时间:
2015-06-16 21:03:47
阅读次数:
137
总结一:
关于内存的配置总共有以下几个方面:
以下的示例数据为gdc中的配置
(1)每个节点可用于container的内存与虚拟内存
NM的内存资源配置,主要是通过下面两个参数进行的(这两个值是Yarn平台特性,应在yarn-sit.xml中配置) :
yarn.nodemanager.resource.memory-mb 94208
yarn.nodemanager.vmem-...
分类:
其他好文 时间:
2015-06-16 19:24:28
阅读次数:
369
1、修改etc/hadoop/yarn.sh,增加以下内容
export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”
export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_soc...
分类:
其他好文 时间:
2015-06-16 19:22:56
阅读次数:
131
上一篇文章——Hadoop2.6.0集群部署中,我们可以看到,Hadoop集群启动后的服务情况:[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了,或者听说过mapreduce,可能网上资料更多..
分类:
编程语言 时间:
2015-06-12 15:11:33
阅读次数:
213
当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动,最后启动是NodeStatusUpdater,NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数,进行资源是初始化等操作,为将要运行...
分类:
其他好文 时间:
2015-05-28 15:45:04
阅读次数:
144