说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类：
其他好文 时间：
2016-04-29 16:48:19
阅读次数：
212
引文 学习Hadoop的同学们，一定知道如果运行Hadoop自带的各种例子，以大名鼎鼎的wordcount为例，你会输入以下命令： 当然，有些人还会用以下替代方式： 相比于原始的执行方式，使用jar命令方式，让我们不用再敲入繁琐的完整包路径。比如我们知道hadoop-mapreduce-exampl ...
分类：
其他好文 时间：
2016-04-29 14:24:30
阅读次数：
252
spark1.4 Windows local调试环境搭建总结 1.scala版本 scala-2.10.4 官方推荐 scala-2.11.7【不推荐，非sbt项目、需要后加载】 2.spark版本 spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop 3.1版本 hadoo ...
分类：
其他好文 时间：
2016-04-29 14:23:13
阅读次数：
205
Hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞；采用Protocol Buffers优化RPC性能；采用Apache Avro优化日志等。本文主要针对YARN中状态机的实现进行分析，在这个过程中，会捎带一些事件的内容。...
分类：
其他好文 时间：
2016-04-29 10:36:12
阅读次数：
241
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理
下面我画了一张图,便于理解MapReduce得整个工作原理
下面对上面出现的一些名词进行介绍
ResourceManager：是YARN资源控制框架的中心模块...
分类：
其他好文 时间：
2016-04-28 18:20:44
阅读次数：
175
前言 说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。 概念 在具体分析源码之前，我们先看看YARN是如何定义一个事件的。比如作业启动的事件，很多人可能会用常量将它定义到一个class文件中，就 ...
分类：
其他好文 时间：
2016-04-27 15:40:54
阅读次数：
176
hadoop环境搭建相对麻烦，需要安装虚拟机过着cygwin什么的，所以通过查资料和摸索，在window上搭建了一个，不需要虚拟机和cygwin依赖，相对简便很多。
下面运行步骤除了配置文件有部分改动，其他都是参照hadoop下载解压的share/doc/index.html。
hadoop下载：http://apache.opencas.org/hadoop/common...
说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类：
其他好文 时间：
2016-04-26 12:42:38
阅读次数：
209
一、软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二、Scala 安装 1、master 机器 (1)下载 scala-2.11.8.tgz， 解压到 /opt 目录下，即： /opt/scala-2.11.8。 (2)修改 scala-2. ...
分类：
其他好文 时间：
2016-04-23 13:17:35
阅读次数：
207
一、前言很以前就搭建过hadoop的伪分布式环境，为了搭建环境特意弄的双系统，还把毕业论文给毁了。不过当时使用的是 hadoop1.x 的，而且因为一些原因，就搭建了环境，而没继续学习了。现在开始，准备好好的学习一下hadoop二、Hadoop 简介
Hadoop 是Apache软件基金会旗下的一个开源分布式计算平台
是云计算中 PaaS(平台即服务)一层的实现
HDFS 和 MapReduce 共...
分类：
编程语言 时间：
2016-04-23 07:35:51
阅读次数：
249
