环境介绍: 主服务器ip:192.168.80.128(master) NameNode SecondaryNameNode ResourceManager 从服务器ip:192.168.80.129(slave1) DataNode NodeManager 从服务器ip: 192.168.80.1 ...
分类:
其他好文 时间:
2017-05-08 00:22:32
阅读次数:
288
摘自:http://www.cnblogs.com/dolphin0520/p/3933551.html#undefined 在前面一篇文章中提到,对Vector、ArrayList在迭代的时候如果同时对其进行修改就会抛出java.util.ConcurrentModificationExcepti... ...
分类:
编程语言 时间:
2017-04-29 16:22:09
阅读次数:
237
foreahc迭代集合元素的同时修改集合元素抛异常。。ConcurrentModificationException异常 只要使用迭代器遍历,其他集合遍历时进行增删操作都需要留意是否会触发ConcurrentModificationException异常。 一、单线程 1. 异常情况举例 只要抛出出 ...
分类:
其他好文 时间:
2017-04-20 21:07:56
阅读次数:
341
1 NodeManager 中GC收集时间占的比例过多。Detected pause in JVM or host machine (eg GC): pause of approximately 13245msGC pool 'ConcurrentMarkSweep' had collection( ...
分类:
其他好文 时间:
2017-04-09 21:15:57
阅读次数:
305
1 加大map,与reduce执行内存,由2改为3 2 yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。只要参数值*分配的内存>需要的内存值,就不会报错。 3 添加spark shuffle 4 hbase region 大小设置 ...
分类:
其他好文 时间:
2017-04-09 20:13:51
阅读次数:
1965
基本类型,不会有异常。 List 在 (1). 使用索引遍历的时候删除不会有异常,但是后续的数据可能会有问题; (2). List用增强的for循环遍历时:会报告异常java.util.ConcurrentModificationException (删除完立马break的除外) (3). 迭代器迭 ...
分类:
编程语言 时间:
2017-04-07 09:21:15
阅读次数:
226
hadoop2.x以后, 计算框架放在在yarn上 1, yarn.site 2, mapred-stie.xml, 把mapreduce的环境放在yarn中 3, yarn-site.xml, 制定mapreduce运行在哪个框架上 NodeManager 和 Datanode在一块, 不需要配置 ...
分类:
其他好文 时间:
2017-04-02 18:18:18
阅读次数:
124
今天在使用iterator.hasNext()操作迭代器的时候,当迭代的对象发生改变,比如插入了新数据,或者有数据被删除。 编译器报出了以下异常: 例如以下程序: 分析原因:Iterator做遍历的时候,HashMap被修改(aa.remove(ele), size-1),Iterator(Obje ...
分类:
编程语言 时间:
2017-04-02 17:43:07
阅读次数:
276
完全分布式安装: 1.集群规划 a.服务分配 组件 Linux.one Linux.two Linux.three HDFS NameNode Sencondarynamenode DataNode DataNode DataNode YARN ResourceManager NodeManager ...
分类:
其他好文 时间:
2017-03-25 00:11:25
阅读次数:
211
1.MapReduce(一个分布式运算框架)将数据分为数据块,发送到不同的节点,并行方式处理。 2.NodeManager和DataNode在一个节点上,程序与数据在一个节点。 3.内容分为两个部分 1) Map 读取文件,将数据分块,输入输出都是<key,value> 2) Reduce 输入输出 ...
分类:
其他好文 时间:
2017-03-24 17:50:54
阅读次数:
218