最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式，在Hadoop2.2 +版本之上 基本上就不用这么部署了。其原因就是Had...
分类：
其他好文 时间：
2015-01-10 01:03:07
阅读次数：
237
Hadoop2.4.1 64-Bit QJM HA and YARN HA Install + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA（Hadoop2.4.1(QJM方式的HDFS NameNode HA，YARN ResourceManager ...
分类：
其他好文 时间：
2015-01-09 22:12:06
阅读次数：
788
在hadoop-0.23版本中， MapReduce已经做了一次全面的修改，这也正是我们现在所说的 MapReduce 2.0 (MRv2) 或者是 YARN.
MRv2的基本思想是将JobTracker的两个主要的功能，一个是资源管理，一个是作业的调度和监控，
分成各自独立的后台进程。这个思想说的是拥有一个全局的资源管理器（ ResourceManager (RM)），还有一个是每个应用程序都拥有的应用主控器（ApplicationMaster (AM)）。一个应用程序可以是一个传统的Map-Reduce...
分类：
Web程序 时间：
2015-01-09 17:27:45
阅读次数：
192
最新的Spark 1.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能，需做以下操作： 一： 在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services...
分类：
数据库 时间：
2015-01-09 00:22:12
阅读次数：
1652
准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆虚拟机，Mac地址不会改变，每次最后手动重新生成）...
分类：
其他好文 时间：
2015-01-07 18:35:19
阅读次数：
214
原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该...
分类：
其他好文 时间：
2015-01-07 00:32:51
阅读次数：
254
以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configuration FileConfiguration SettingValue Calcula...
分类：
其他好文 时间：
2015-01-06 08:38:43
阅读次数：
160
