码迷,mamicode.com
首页 >  
搜索关键字:nodemanager concurrentmodificationexception    ( 320个结果
spark on yarn的cpu使用
在yarn-site.xml中,可以配置virutal core的个数,请注意不是physical core的个数,相关配置如下:   yarn.nodemanager.resource.cpu-vcores   30   NodeManager总的可用虚拟CPU个数 virutal core的概念是将所有physical cpu组成8个可调度的队列,linux使得有任务的...
分类:其他好文   时间:2015-07-08 13:03:47    阅读次数:324
CopyOnWriteArrayList
CopyOnWriteArrayList类最大的特点就是,在对其实例进行修改操作(add/remove等)会新建一个数据并修改,修改完毕之后,再将原来的引用指向新的数组。这样,修改过程没有修改原来的数组。也就没有了ConcurrentModificationException错误。 从上面的结...
分类:其他好文   时间:2015-07-04 00:40:00    阅读次数:172
mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid
15/07/01 20:14:41 FATAL containermanager.AuxServices: Failed to initialize mapreduce.shufflejava.lang.IllegalArgumentException: The ServiceName: mapre...
分类:其他好文   时间:2015-07-02 22:19:57    阅读次数:430
hadoop2.X使用手册1:通过web端口查看主节点、slave1节点及集群运行状态
导读内容: 1.如何通过web查看hdfs集群状态 2.如何通过web查看运行在在主节点master上ResourceManager状态 3.如何通过web查看运行在在slave节点NodeManager资源状态 4.JobHistory 可以查看什么信息
分类:Web程序   时间:2015-07-01 15:39:47    阅读次数:167
Hashtable 删除元素, 抛出异常 java.util.ConcurrentModificationException
今天在对一个Hashtable对象进行 搜索 -> 删除 操作时遇到的一个问题,开始的使用我使用的是Hashtable的Iterator,然后直接执行:Hashtable.remove(key); 抛出异常java.util.ConcurrentModificationException查了一下ja...
分类:编程语言   时间:2015-06-17 14:48:57    阅读次数:133
被迭代的对象在迭代过程中不允许对其修改
java.util.ConcurrentModificationException 解决办法今天在项目的中有一个需求,需要在一个Set类型的集合中删除满足条件的对象,这时想当然地想到直接调用Set的remove(Object o)方法将指定的对象删除即可,测试代码: public class Tes...
分类:其他好文   时间:2015-06-16 21:03:47    阅读次数:137
YARN内存管理
总结一: 关于内存的配置总共有以下几个方面: 以下的示例数据为gdc中的配置 (1)每个节点可用于container的内存与虚拟内存 NM的内存资源配置,主要是通过下面两个参数进行的(这两个值是Yarn平台特性,应在yarn-sit.xml中配置) : yarn.nodemanager.resource.memory-mb  94208 yarn.nodemanager.vmem-...
分类:其他好文   时间:2015-06-16 19:24:28    阅读次数:369
hadoop远程调试
1、修改etc/hadoop/yarn.sh,增加以下内容 export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y” export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_soc...
分类:其他好文   时间:2015-06-16 19:22:56    阅读次数:131
Python菜鸟的Hadoop实战——Hadoop2.6.0中的Yarn
上一篇文章——Hadoop2.6.0集群部署中,我们可以看到,Hadoop集群启动后的服务情况:[hadoop@iZ94cjwg86gZ~]$jps 27888SecondaryNameNode 27688NameNode 28430Jps 28044ResourceManager 31596JobHistoryServer如果你已经搜索过Hadoop了,或者听说过mapreduce,可能网上资料更多..
分类:编程语言   时间:2015-06-12 15:11:33    阅读次数:213
Hadoop 2.0 Yarn代码:心跳驱动服务分析
当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动,最后启动是NodeStatusUpdater,NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数,进行资源是初始化等操作,为将要运行...
分类:其他好文   时间:2015-05-28 15:45:04    阅读次数:144
320条   上一页 1 ... 24 25 26 27 28 ... 32 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!