欢迎转载，转载请注明出处，徽沪一郎概要在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。Hive简介Hive的由来以下部分摘自Hadoop defini...
分类：
其他好文 时间：
2014-07-07 14:45:58
阅读次数：
224
欢迎转载，转载请注明出处，徽沪一郎。楔子Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。存储子系统概览上图是Spark存储子系统中几个主要模块...
分类：
其他好文 时间：
2014-07-07 14:30:41
阅读次数：
304
欢迎转载，转载请注明出处，徽沪一郎。楔子Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块...
分类：
其他好文 时间：
2014-07-07 14:17:47
阅读次数：
295
一、SecondaryNameNode用途 SNN是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间，SNN进程默认运行在 namenode 机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，因此最佳方式是将SNN进程配置在另外....
分类：
其他好文 时间：
2014-07-01 21:53:52
阅读次数：
334
2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架，该框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。时至今日，MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型，它是Apache Hadoop的基...
分类：
其他好文 时间：
2014-07-01 00:21:41
阅读次数：
320
HDFS文件系统讲解，主要包括：1、namenode/datanode；2、数据存储副本；3、元数据持久化；4、数据模型；5、故障容错
分类：
其他好文 时间：
2014-06-30 22:01:26
阅读次数：
231
使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96...
分类：
数据库 时间：
2014-06-30 08:21:16
阅读次数：
356
今天来说说编译hadoop源码的事情吧~
1、首先下载源码
地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
2、加压tar包到指定文件夹：/home/hadoop/soft/hadoop
tar zxvf hadoop-2.4.0-src.tar.gz
3、Linux编译环境准备
java环境...
分类：
系统相关 时间：
2014-06-30 06:18:12
阅读次数：
379
Cloudera Impala 官方教程 《Impala Tutorial》，讲解了Impala一些基本操作，但操作步骤前后缺少连贯性，本文节选《Impala Tutorial》中的部分示例，从零开始讲解了一个完整示例：创建表、加载数据、查询数据。提供了一个入门级教程，通过本文的操作，向Impala说“Hello World”。...
分类：
其他好文 时间：
2014-06-29 23:07:03
阅读次数：
330
packagecom.yuhui.gd.hadoop.hbase;importjava.util.Iterator;importjava.util.Map;importjava.util.Map.Entry;importjava.util.NavigableMap;importjava.util.Set;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.ap..
分类：
编程语言 时间：
2014-06-29 21:09:00
阅读次数：
453
