一、神马是高大上的MapReduce MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，....
分类：
其他好文 时间：
2015-02-12 17:36:50
阅读次数：
288
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学...
分类：
其他好文 时间：
2015-02-12 13:47:41
阅读次数：
141
Hadoop学习笔记(7) ——高级编程 从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤： 1.输入(input):将输入数据分成一个个split，并将split进一步拆成。 2.映射(map)：根据输入的进生处理， 3.合并(combiner)：合并中间相两同的key值...
分类：
其他好文 时间：
2015-02-11 23:13:52
阅读次数：
260
Hadoop学习笔记(6) ——重新认识Hadoop 之前，我们把hadoop从下载包部署到编写了helloworld，看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce， DFS可以理解为一个分布式文件系统，存储而已，所以这里暂时就不深入研...
分类：
其他好文 时间：
2015-02-11 23:13:40
阅读次数：
341
Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序，并让它跑起来了。但想想不对啊，Hadoop不是有两块功能么，DFS和MapReduce。没错，上一节我们写了一个MapReduce的HelloWorld程序，那这一节，我们就也学一学DFS程序的编写。 ...
分类：
其他好文 时间：
2015-02-11 21:56:11
阅读次数：
280
Spark是Apache的顶级项目。项目背景是 Hadoop 的 MapReduce 太挫太慢了，于是有人就做了Spark，目前Spark声称在内存中比Hadoop快100倍，在磁盘上比Hadoop快10倍。...
分类：
其他好文 时间：
2015-02-11 18:41:19
阅读次数：
220
Hbase的基本体系结构的理解首先hbase是hadoop的一个组件.而hadoop内部有很多的组件，这些组件几乎都依赖于hadoop最核心的两个东西建立起来的,一个是hdfs文件系统，另一个是mapreduce。当然hbase也不例外。hbase其实就是一个非关系型的数据库系统，可以将他和关系型数据库mysql..
分类：
其他好文 时间：
2015-02-11 11:04:18
阅读次数：
203
Spark是什么?Spark是Apache的顶级项目。项目背景是 Hadoop 的 MapReduce 太挫太慢了，于是有人就做了Spark，目前Spark声称在内存中比Hadoop快100倍，在磁盘上比Hadoop快10倍。令人震惊啊。...
分类：
其他好文 时间：
2015-02-10 11:20:43
阅读次数：
431
本教程介绍Pig的安装和使用。hdfs虽说是一个文件空间，但是我们每次要查看hdfs上的文件的时候都要输入一大串命令，比如一个简单的ls都需要输入 ： hdfs dfs -ls / ，而且还不能cd到某个目录，这样就造成了每次ls都要带上全路径的麻烦，能不能有一个工具可以模拟linux下的shell呢？Pig就实现了这样的需求，可以直接ls，可以cd到某个目录。并且Pig还创造了 Pig Latin语言，可以通过Pig写一个类似存储过程的MapReduce的Job，pig会自动帮你把这个job翻译成MapR...
分类：
其他好文 时间：
2015-02-09 20:21:09
阅读次数：
172
本教程介绍Impala的安装，使用和JDBC调用。为什么用 Impala？ 因为Hive 太慢了！Impala 也可以执行SQL，但是比Hive的速度快很多。为什么Impala可以比Hive快呢？因为Hive采用的是把你的sql转化成hadoop 的 MapReduce任务的代码，然后编译，打包成jar包，并分发到各个server上执行，这是一个相当慢的过程。而Impala根本就不用Hadoop的MapReduce机制，直接调用HDFS的API获取文件，在自己的内存中进行计算。...
分类：
其他好文 时间：
2015-02-09 20:20:39
阅读次数：
395
