用nodemanager来添加weblogic服务启动。1、新建一个server，命名为Server1，端口设置为7055，其他采用默认值。2、新建一个Machine，命名为Machine1。配置节点管理器，类型：SSL；监听地址：32.114.62.154；监听端口5556。 3、启动nodema...
分类：
Web程序 时间：
2015-12-03 11:36:38
阅读次数：
191
YARN为了实现多个状态机的对象，控制ResourceManager中间RMAppImpl、RMApp-AttemptImpl、RMContainerImpl和RMNodeImpl，NodeManager中的ApplicationImpl、ContainerImpl和LocalizedResourc...
分类：
其他好文 时间：
2015-09-30 14:30:54
阅读次数：
326
前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager和NodeManager这样的结构,在每个节点上,还会有ApplicationMaster来管理应用程序的整个生命周期,的确在Yarn中,多了许多优秀的设...
分类：
移动开发 时间：
2015-08-31 23:40:56
阅读次数：
276
问题：自己写了一个yarn上的application，发现nodemanager过段时间，会out of memory退出，把nodemanager的heap memory从1G增大到2G也是无法避免NM程序OOM开启NM的jmx监控-Dcom.sun.management.jmxremote -D...
分类：
其他好文 时间：
2015-08-25 15:41:14
阅读次数：
185
resourcemanager：管理集群上面的资源 cpu和内存NodeManager:上面跑程序 applicationMaster 多个在NodeManager上面Mapreduce上面的程序叫MRAppMaster在NodeMnager上面Mapreduce 上运行MapTask或Reduce...
分类：
其他好文 时间：
2015-07-30 23:05:39
阅读次数：
130
在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下：
yarn.nodemanager.resource.cpu-vcores
30
NodeManager总的可用虚拟CPU个数
virutal core的概念是将所有physical cpu组成8个可调度的队列，linux使得有任务的...
分类：
其他好文 时间：
2015-07-08 13:03:47
阅读次数：
324
15/07/01 20:14:41 FATAL containermanager.AuxServices: Failed to initialize mapreduce.shufflejava.lang.IllegalArgumentException: The ServiceName: mapre...
分类：
其他好文 时间：
2015-07-02 22:19:57
阅读次数：
430
导读内容：
1.如何通过web查看hdfs集群状态
2.如何通过web查看运行在在主节点master上ResourceManager状态
3.如何通过web查看运行在在slave节点NodeManager资源状态
4.JobHistory 可以查看什么信息
分类：
Web程序 时间：
2015-07-01 15:39:47
阅读次数：
167
总结一：
关于内存的配置总共有以下几个方面：
以下的示例数据为gdc中的配置
（1）每个节点可用于container的内存与虚拟内存
NM的内存资源配置，主要是通过下面两个参数进行的（这两个值是Yarn平台特性，应在yarn-sit.xml中配置） ：
yarn.nodemanager.resource.memory-mb 94208
yarn.nodemanager.vmem-...
分类：
其他好文 时间：
2015-06-16 19:24:28
阅读次数：
369
1、修改etc/hadoop/yarn.sh，增加以下内容
export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”
export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_soc...
分类：
其他好文 时间：
2015-06-16 19:22:56
阅读次数：
131
