Spark 1.x 爆内存相关问题汇总及解决 OOM java.lang.OutOfMemoryError # on yarn org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorIm ...
分类：
其他好文 时间：
2017-01-13 15:51:12
阅读次数：
2701
1.在前一篇准备好Hadoop的基础上配置，链接 http://www.cnblogs.com/cici20166/p/6266367.html 2./etc/profile 配置环境变量 export YARN_HOME=${HADOOP_HOME} 3.配置 yarn-site.xml 4.jp ...
分类：
其他好文 时间：
2017-01-12 09:12:38
阅读次数：
178
链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ ...
分类：
Web程序 时间：
2017-01-12 08:42:33
阅读次数：
359
关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情，单独查任何一个资料都不能很好的理解透彻。于是，最近查了大量的资料，综合各种解释，终于理解到了一个比较清晰的程度，在这里将理解的东西做一个简单的记录，以备忘却。首先，先将关于mapreduce和yarn关于内存分配的参数粘 ...
分类：
其他好文 时间：
2017-01-12 08:16:50
阅读次数：
319
yarn中一个基本的调度单元是队列。 yarn的内置调度器： 1.FIFO先进先出，一个的简单调度器，适合低负载集群。2.Capacity调度器，给不同队列（即用户或用户组）分配一个预期最小容量，在每个队列内部用层次化的FIFO来调度多个应用程序。3.Fair公平调度器，针对不同的应用（也可以为用户 ...
分类：
其他好文 时间：
2017-01-12 02:51:46
阅读次数：
358
在hive里建一个数据库test，在数据库里建了一张表user，然后在Spark程序中使用Spark sql读取这张表 "select * form test.user" 当部署模式是spark stand模式和yarn-client模式时，程序可以正常运行，但yarn-cluster模式就报了找不 ...
分类：
数据库 时间：
2017-01-11 22:12:37
阅读次数：
1098
本篇博客参考：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/ 软件版本：CDH：5.7...
分类：
其他好文 时间：
2017-01-11 08:20:23
阅读次数：
466
facebook 公司的工程师感觉Node使用起来太慢，自己写的一个类似node的 安装： npm install -g yarn 基本使用： yarn init [-y] 初始化 yarn add +包名 安装包 yarn global add+包名 全局安装包 yarn remove +包名 删 ...
分类：
其他好文 时间：
2017-01-09 18:15:40
阅读次数：
212
最近一周几乎都在做关于yarn的资源隔离的事情，也重新看了一下以前看过的关于yarn的书，这次就当是写写自己的工作总结吧。之所以要做资源隔离，是因为现在公司内部有很多团队都在使用yarn来提交各式各样的任务，例如hive的mapreduce，spark在yarn上的部署，sqoop导数据等等，为..
分类：
其他好文 时间：
2017-01-09 00:52:37
阅读次数：
1902
因为工作需要，要搭建一个虚拟机，做一个伪分布式的开发环境。搭建很顺利，测试环境不用考虑太多，启动hdfs，搞定！启动yarn，搞定。运行一个examples看看，结果作业一直卡在accepted状态，一直没有真正运行，而且从日志上看，也没有任何的报错信息。这个问题困惑了两天，搜索..
分类：
其他好文 时间：
2017-01-07 21:27:38
阅读次数：
522
