2014年2月20日，Hadoop 2.3.0版本发布，这是apache 在2014年发布的第一个Hadoop版本，揭开了Hadoop 2014发展的序幕。该版本引入了很多大家期待已久的特性，包括HDFS 的异构层次化存储架构、DataNode Cache，YARN的单点故障解决方案，以及MapRe...
分类：
其他好文 时间：
2014-07-19 18:04:01
阅读次数：
239
进程是指一个内存中运行的应用程序，每个进程都有自己独立的一块内存空间，一个进程中可以启动多个线程。比如在Windows系统中，一个运行的exe就是一个进程。线程是指进程中的一个执行流程，一个进程中可以运行多个线程。比如java.exe进程中可以运行很多线程。线程总是属于某个进程，进程中的多个线程共享...
分类：
编程语言 时间：
2014-07-16 19:11:13
阅读次数：
204
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
public class FileSplit extends InputSplit implements Writable { private Path file; private long start; private long length; private String[] hosts; pu...
分类：
其他好文 时间：
2014-07-16 18:32:45
阅读次数：
236
Catalyst定位
其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询，需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。
对应上图中，主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程，物理执行计划基于成本的优化模型，具体物理算子的执行都由系统自己实现。
Catalyst现状
在解析器方面提供的是一个简单的scala...
分类：
数据库 时间：
2014-07-16 17:34:38
阅读次数：
391
前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析.spark官网: http://spark.apache.org/downloads.html*)安装....
分类：
其他好文 时间：
2014-07-16 16:56:22
阅读次数：
235
1、YARN或将成为Hadoop新发力点http://www.csdn.net/article/2013-06-27/2816031-hadoop-yarn2、更快、更强——解析Hadoop新一代MapReduce框架Yarnhttp://www.csdn.net/article/2014-02-1...
分类：
其他好文 时间：
2014-07-16 16:45:34
阅读次数：
198
本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 h...
分类：
其他好文 时间：
2014-07-16 15:55:52
阅读次数：
325
public List getSplits(JobContext job) throws IOException { long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); long ...
分类：
其他好文 时间：
2014-07-16 00:19:43
阅读次数：
324
一、概述本文将介绍ResourceManager在Yarn中的功能作用，从更细的粒度分析RM内部组成的各个组件功能和他们相互的交互方式。二、ResourceManager的交互协议与基本职能1、ResourceManager交互协议在整个Yarn框架中主要涉及到7个协议，分别是ApplicationClientProtocol、MRClientP..
分类：
其他好文 时间：
2014-07-15 12:18:57
阅读次数：
1022
