Java中的Iterator非常方便地为所有的数据源提供了一个统一的数据读取(删除)的接口，但是在使用的时候容易报如下错误ConcurrentModificationException，原因是在使用迭代器时候底层数据被修改，最常见于数据源不是线程安全的类，如HashMap & ArrayList等。 ...
分类：
其他好文 时间：
2016-07-20 21:20:26
阅读次数：
213
集群环境介绍：hadoop2.4.1 64位
6台服务器：
hadoop11 NameNode 、SecondaryNameNode
hadoop22 ResourceManager
hadoop33 DataNode、NodeManager
hadoop44 DataNode、NodeManager
hadoop55 DataNode、NodeManager
hadoop66...
分类：
编程语言 时间：
2016-07-19 11:03:03
阅读次数：
181
集合6.28 Arraylist 使用迭代器遍历的时候不能操作 目标 (改变集合元素的个数)除非特有方法，迭代器中提供的方法其他遍历正在进行时也 尽量不要去操作目标，容易出错 java.util.ConcurrentModificationException (并发修改异常)中途了解 迭代器 原理以 ...
分类：
编程语言 时间：
2016-07-14 01:25:25
阅读次数：
211
如果你是一名Java开发人员，我能够确定你肯定知道ConcurrentModificationException，它是在使用迭代器遍历集合对象时修改集合对象造成的（并发修改）异常。实际上，Java的集合框架是迭代器设计模式的一个很好的实现。 Java 1.5引入了java.util.concurre ...
分类：
其他好文 时间：
2016-07-11 01:04:58
阅读次数：
163
运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心，构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 ResourceManager提供应用程序的调度，每个应用程序由一个Applicatio ...
分类：
其他好文 时间：
2016-06-10 00:54:18
阅读次数：
488
我们通过提交jar包，进行MapReduce处理，那么整个运行过程分为五个环节： 1、向client端提交MapReduce job. 2、随后yarn的ResourceManager进行资源的分配. 3、由NodeManager进行加载与监控containers. 4、通过applicationM ...
分类：
其他好文 时间：
2016-06-05 01:08:38
阅读次数：
221
ConcurrentModificationException异常处理 ConcurrentModificationException异常是Iterator遍历ArrayList或者HashMap数组时，通过代码修改了数组的大小，而Iterator(Object ele=it.next())会检查数 ...
分类：
编程语言 时间：
2016-05-28 17:49:17
阅读次数：
185
一、基本组成结构1. ResourceManager负责对各个NodeManager 上的资源进行统一管理和调度。包含两个组件：
* Scheduler：调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序
* Applications Manager：应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调...
分类：
其他好文 时间：
2016-05-20 17:35:59
阅读次数：
125
hdfs快占满了，所以为节点中添加新的磁盘（这块是个教训，以后用新的节点时，磁盘需要一次性插满，省得后续再添加磁盘了） 注意： 添加磁盘时，不仅仅datanode在配置时添加节点，nodemanager也同时需要添加的。 然后需要在CHM中修改配置（我这边出现了一个特殊情况，有一台机器硬盘口坏了，所 ...
分类：
其他好文 时间：
2016-05-19 10:33:54
阅读次数：
158
涉及到磁盘存储路径的配置文件参数有： hdfs-site.xml <name>dfs.datanode.data.dir</name> yarn-site.xml <name>yarn.nodemanager.local-dirs</name> 将这两个参数的value中的坏盘路径去掉，重启data ...
分类：
其他好文 时间：
2016-05-18 12:47:00
阅读次数：
857
