日志聚合是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container/任务日志存在在各个NodeManager上，如果启用日志聚合功能需要额外的配置。参数配置y.....
分类：
其他好文 时间：
2016-01-14 22:21:36
阅读次数：
254
。一、Hadoop Yarn组件介绍:我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器 和 任务调度监控 分离成单独的组件。新的架构使用全局管理所有应用程序的计算资源分配。 主要包含三个组件ResourceManager 、NodeManager和Applic...
分类：
其他好文 时间：
2016-01-10 13:03:57
阅读次数：
233
今天犯了一个简单的错：List books = adapter.data;for(Book book: books){ if(book.id == bookId){ books.remove(book); }}结果遇到java.util.ConcurrentModificationException...
分类：
编程语言 时间：
2015-12-29 00:53:07
阅读次数：
198
启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjarResouceManager会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTas..
分类：
其他好文 时间：
2015-12-16 09:39:21
阅读次数：
169
用nodemanager来添加weblogic服务启动。1、新建一个server，命名为Server1，端口设置为7055，其他采用默认值。2、新建一个Machine，命名为Machine1。配置节点管理器，类型：SSL；监听地址：32.114.62.154；监听端口5556。 3、启动nodema...
分类：
Web程序 时间：
2015-12-03 11:36:38
阅读次数：
191
今天在写一个带缓存功能的访问代理程序时出现了java.util.ConcurrentModificationException异常， 因为该异常是非捕获型异常而且很少见，所以费了些时间才找到问题所在，原来在通过Iterator进行遍历的时候，如果直接对HashMap进行操作后，再继续用之前的Iter...
分类：
其他好文 时间：
2015-11-19 19:00:33
阅读次数：
170
在JDK的Collection中我们时常会看到类似于这样的话：例如，ArrayList:注意，迭代器的快速失败行为无法得到保证，因为一般来说，不可能对是否出现不同步并发修改做出任何硬性保证。快速失败迭代器会尽最大努力抛出 ConcurrentModificationException。因此，为提高....
分类：
其他好文 时间：
2015-11-17 23:26:49
阅读次数：
317
现在有一个需求，要遍历一个List，假设List里面存储的是String对象，然后该需求事判断里面如果有某个对象，则添加一个新的对象进去。自然，我们得出下面的代码：import java.util.ArrayList;import java.util.Iterator;import java.uti...
分类：
编程语言 时间：
2015-11-14 20:44:00
阅读次数：
300
问题描述：? LinkedList 问题分析：? 基本的实现 代码实现： package?c03;
import?java.util.ConcurrentModificationException;
import?java.util.Iterator;
import?java.util.NoSuchElementException;
...
分类：
其他好文 时间：
2015-10-12 21:12:23
阅读次数：
308
YARN为了实现多个状态机的对象，控制ResourceManager中间RMAppImpl、RMApp-AttemptImpl、RMContainerImpl和RMNodeImpl，NodeManager中的ApplicationImpl、ContainerImpl和LocalizedResourc...
分类：
其他好文 时间：
2015-09-30 14:30:54
阅读次数：
326
