早上看CDH发现有一个nodemanager挂掉 然后查看对应的日志。 发现在日志里面并没有错误。，然然后发现服务器的磁盘满了，赶紧清理磁盘空间 清理磁盘的时候发现主要是/tmp目录下面生成了很多 类似这种的日志。 清理完空间之后 重启nodemanager。发现还是启不来 到这里之后发现就停住了。 ...
分类：
其他好文 时间：
2019-07-05 09:37:40
阅读次数：
187
：一、安装jdk环境（前提） 二、安装hadoop（hadoop-2.7.7.tar.gz） 1. 角色分配（3节点搭建） node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode n ...
分类：
其他好文 时间：
2019-06-05 23:35:35
阅读次数：
111
op.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.conta ...
分类：
其他好文 时间：
2019-04-29 21:23:09
阅读次数：
272
Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（ApplicationsManager）scheduler主要进行资源调度，不进行任何与应用程序相关的动作，
分类：
其他好文 时间：
2019-04-20 15:44:25
阅读次数：
280
Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root ...
分类：
其他好文 时间：
2019-03-29 22:18:54
阅读次数：
226
mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> yarn-site.xml <property> <name>yarn.nodemanager.aux-s ...
分类：
其他好文 时间：
2019-03-21 00:50:19
阅读次数：
154
HADOOPYARN是什么？Yarn全称是YetAnotherResourceNegotiator基本概念Container容器是Yarn对资源的一层抽象。（CPU核数，内存等计算资源）容器由NodeManager启动和管理，并被它所监控容器由ResureceManager调度ResourceManager(RM)负责资源管理，包含定时调度器（scheduler）和应用管理器（Applicatio
分类：
其他好文 时间：
2019-01-15 00:54:36
阅读次数：
236
1.修改yarn每个节点的内存大小 下图yarn是各个节点内存的大小 2.对yarn这些资源配置解释 yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而Y ...
分类：
其他好文 时间：
2018-12-19 12:59:34
阅读次数：
168
当我们启动Hadoop集群的时候，发现有一台机器的nodemanager启动后自动关闭， 查看日志的时候发现有错误：yarn-root-nodemanager-log 解决办法： netstat anp |grep 端口号 如果有进程占用这个端口，kill -9 这个进程 重新启动即可 ...
分类：
其他好文 时间：
2018-11-29 23:16:20
阅读次数：
604
