1 NodeManager 中GC收集时间占的比例过多。Detected pause in JVM or host machine (eg GC): pause of approximately 13245msGC pool 'ConcurrentMarkSweep' had collection( ...
分类：
其他好文 时间：
2017-04-09 21:15:57
阅读次数：
305
1 加大map，与reduce执行内存，由2改为3 2 yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。只要参数值*分配的内存>需要的内存值，就不会报错。 3 添加spark shuffle 4 hbase region 大小设置 ...
分类：
其他好文 时间：
2017-04-09 20:13:51
阅读次数：
1965
hadoop2.x以后, 计算框架放在在yarn上 1, yarn.site 2, mapred-stie.xml, 把mapreduce的环境放在yarn中 3, yarn-site.xml, 制定mapreduce运行在哪个框架上 NodeManager 和 Datanode在一块, 不需要配置 ...
分类：
其他好文 时间：
2017-04-02 18:18:18
阅读次数：
124
完全分布式安装： 1.集群规划 a.服务分配 组件 Linux.one Linux.two Linux.three HDFS NameNode Sencondarynamenode DataNode DataNode DataNode YARN ResourceManager NodeManager ...
分类：
其他好文 时间：
2017-03-25 00:11:25
阅读次数：
211
1.MapReduce(一个分布式运算框架)将数据分为数据块，发送到不同的节点，并行方式处理。 2.NodeManager和DataNode在一个节点上，程序与数据在一个节点。 3.内容分为两个部分 1) Map 读取文件，将数据分块，输入输出都是<key，value> 2) Reduce 输入输出 ...
分类：
其他好文 时间：
2017-03-24 17:50:54
阅读次数：
218
1.介绍standalone Standalone模式是Spark自身管理资源的一个模式，类似Yarn Yarn的结构: ResourceManager: 负责集群资源的管理 NodeManager：负责当前机器的资源管理 CPU&内存 Spark的Standalone的结构： Master: 负责 ...
分类：
其他好文 时间：
2017-02-07 12:04:02
阅读次数：
232
hadoop web控制台页面的端口整理： 50070：hdfs文件管理 8088：ResourceManager 8042：NodeManager 19888：JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server) ...
分类：
Web程序 时间：
2017-01-31 19:21:15
阅读次数：
247
Spark 1.x 爆内存相关问题汇总及解决 OOM java.lang.OutOfMemoryError # on yarn org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorIm ...
分类：
其他好文 时间：
2017-01-13 15:51:12
阅读次数：
2701
一、问题现象某一个nodemanager退出后，导致applicationmaster中出现大量的如下日志，并且持续很长时间，applicationmaster才成功退出。2016-06-2409:32:35,596INFO[ContainerLauncher#3]org.apache.hadoop.ipc.Client:Retryingconnecttoserver:dchadoop206/192.168.1.199:3295..
分类：
移动开发 时间：
2016-12-09 19:49:49
阅读次数：
256
搭建Hadoop Yarn on Docker 一、概览 Docker基于Linux Container技术整合了一堆易用的接口用于构建非常轻量级的虚拟机。Docker Container Executor（DCE）使得Yarn NodeManager服务可以将其container进程运行在Dock ...
分类：
其他好文 时间：
2016-11-24 18:32:49
阅读次数：
253
