环境介绍： 主服务器ip：192.168.80.128(master) NameNode SecondaryNameNode ResourceManager 从服务器ip：192.168.80.129(slave1) DataNode NodeManager 从服务器ip: 192.168.80.1 ...
分类：
其他好文 时间：
2017-05-08 00:22:32
阅读次数：
288
摘自：http://www.cnblogs.com/dolphin0520/p/3933551.html#undefined 在前面一篇文章中提到，对Vector、ArrayList在迭代的时候如果同时对其进行修改就会抛出java.util.ConcurrentModificationExcepti... ...
分类：
编程语言 时间：
2017-04-29 16:22:09
阅读次数：
237
foreahc迭代集合元素的同时修改集合元素抛异常。。ConcurrentModificationException异常 只要使用迭代器遍历，其他集合遍历时进行增删操作都需要留意是否会触发ConcurrentModificationException异常。 一、单线程 1. 异常情况举例 只要抛出出 ...
分类：
其他好文 时间：
2017-04-20 21:07:56
阅读次数：
341
1 NodeManager 中GC收集时间占的比例过多。Detected pause in JVM or host machine (eg GC): pause of approximately 13245msGC pool 'ConcurrentMarkSweep' had collection( ...
分类：
其他好文 时间：
2017-04-09 21:15:57
阅读次数：
305
1 加大map，与reduce执行内存，由2改为3 2 yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。只要参数值*分配的内存>需要的内存值，就不会报错。 3 添加spark shuffle 4 hbase region 大小设置 ...
分类：
其他好文 时间：
2017-04-09 20:13:51
阅读次数：
1965
基本类型，不会有异常。 List 在 (1). 使用索引遍历的时候删除不会有异常，但是后续的数据可能会有问题； (2). List用增强的for循环遍历时：会报告异常java.util.ConcurrentModificationException (删除完立马break的除外) (3). 迭代器迭 ...
分类：
编程语言 时间：
2017-04-07 09:21:15
阅读次数：
226
hadoop2.x以后, 计算框架放在在yarn上 1, yarn.site 2, mapred-stie.xml, 把mapreduce的环境放在yarn中 3, yarn-site.xml, 制定mapreduce运行在哪个框架上 NodeManager 和 Datanode在一块, 不需要配置 ...
分类：
其他好文 时间：
2017-04-02 18:18:18
阅读次数：
124
今天在使用iterator.hasNext()操作迭代器的时候，当迭代的对象发生改变，比如插入了新数据，或者有数据被删除。 编译器报出了以下异常： 例如以下程序： 分析原因：Iterator做遍历的时候，HashMap被修改(aa.remove(ele), size-1)，Iterator(Obje ...
分类：
编程语言 时间：
2017-04-02 17:43:07
阅读次数：
276
完全分布式安装： 1.集群规划 a.服务分配 组件 Linux.one Linux.two Linux.three HDFS NameNode Sencondarynamenode DataNode DataNode DataNode YARN ResourceManager NodeManager ...
分类：
其他好文 时间：
2017-03-25 00:11:25
阅读次数：
211
1.MapReduce(一个分布式运算框架)将数据分为数据块，发送到不同的节点，并行方式处理。 2.NodeManager和DataNode在一个节点上，程序与数据在一个节点。 3.内容分为两个部分 1) Map 读取文件，将数据分块，输入输出都是<key，value> 2) Reduce 输入输出 ...
分类：
其他好文 时间：
2017-03-24 17:50:54
阅读次数：
218
