虽然我已经装了个Cloudera的CDH集群(教程详见：http://www.cnblogs.com/pojishou/p/6267616.html)，但实在太吃内存了，而且给定的组件版本是不可选的，如果只是为了研究研究技术，而且是单机，内存较小的情况下，还是建议安装Apache的原生的集群拿来玩， ...
分类：
Web程序 时间：
2017-02-04 23:26:56
阅读次数：
540
start-dfs.sh start-yarn.sh 1、检查hdfs hdfs dfs -ls / http://localhost:50070 2、运行例子程序 hdfs dfs -ls / hdfs dfs -mkdir -R /example/grep/input hdfs dfs -mkd ...
分类：
其他好文 时间：
2017-01-30 22:52:39
阅读次数：
218
唐 清原, 咨询顾问 简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序 ...
分类：
其他好文 时间：
2017-01-30 21:06:21
阅读次数：
367
大数据分析处理架构图 数据源： 除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性； 计算层： 内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理 ...
分类：
其他好文 时间：
2017-01-26 17:20:38
阅读次数：
678
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一 ...
分类：
其他好文 时间：
2017-01-25 17:27:28
阅读次数：
229
伪分布式需要修改5个配置文件（hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop） 第一个：hadoop-env.sh 第二个：core-site.xml 第三个：hdfs-site.xml 第四个：mapred-site.xml (mv mapred-site.xml.te ...
分类：
系统相关 时间：
2017-01-22 07:51:40
阅读次数：
198
npm下载cnpm 用cnpm install // 安装yarn cnpm install yarn -g yarn更换下载源 // 查看下载源 yarn config get registry // 更换为淘宝源 yarn config set registry https://registry ...
分类：
其他好文 时间：
2017-01-21 17:18:57
阅读次数：
532
Spark 1.x 爆内存相关问题汇总及解决 OOM java.lang.OutOfMemoryError # on yarn org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorIm ...
分类：
其他好文 时间：
2017-01-13 15:51:12
阅读次数：
2701
1.在前一篇准备好Hadoop的基础上配置，链接 http://www.cnblogs.com/cici20166/p/6266367.html 2./etc/profile 配置环境变量 export YARN_HOME=${HADOOP_HOME} 3.配置 yarn-site.xml 4.jp ...
分类：
其他好文 时间：
2017-01-12 09:12:38
阅读次数：
178
链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ ...
分类：
Web程序 时间：
2017-01-12 08:42:33
阅读次数：
359
