和 Hadoop 一样，Spark 提供了一个 Map/Reduce API（分布式计算）和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据...
分类：
其他好文 时间：
2017-04-12 20:02:18
阅读次数：
181
开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技 ...
分类：
其他好文 时间：
2017-04-10 00:52:41
阅读次数：
308
摘要: 通过腾讯shuffle部署对shuffle过程进行详解 摘要：腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuff ...
分类：
其他好文 时间：
2017-04-10 00:41:43
阅读次数：
283
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现。 MapReduce是Google MapReduce的开源实现。 HDFS和MapRe ...
分类：
其他好文 时间：
2017-04-09 22:37:32
阅读次数：
320
buildcube任务过程中，执行到step10任务失败，原因是配置kylin的执行MR任务的资源不足任务进行到第十步骤，失败。具体原因查找1、查看Parameters2、查看MRJob日志，发现问题所在2017-03-1615:42:43,241INFO[AsyncDispatchereventhandler]org.apache.hadoop.mapreduce.v2.app.jo..
分类：
其他好文 时间：
2017-03-16 22:31:58
阅读次数：
444
Spark是目前最火爆的大数据计算框架，有赶超Hadoop MapReduce的趋势。因此，趁着现在还有大多数人不懂得Spark开发的，赶紧好好学习吧，为了使不同的开发人员能够很好的利用Spark，Spark官方提供了不同开发语言的API，本文以大数据经典入门案例WordCount为例，开发多个版本 ...
分类：
编程语言 时间：
2017-03-15 15:16:10
阅读次数：
198
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据， ...
分类：
其他好文 时间：
2017-03-14 22:32:55
阅读次数：
291
https://my.oschina.net/itblog/blog/275294 摘要: 本文通过一个例子，详细介绍Hadoop 的 MapReduce过程。 分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处 ...
分类：
其他好文 时间：
2016-12-28 20:18:31
阅读次数：
209
不多说，直接上代码。 Hadoop MapReduce编程 API入门系列之小文件合并（二十九） 生成的结果，作为输入源。 代码 package zhouls.bigdata.myMapReduce.ParseTVDataCompressAndCounter; import java.net.URI ...
不多说，直接上代码。 代码版本1 package zhouls.bigdata.myMapReduce.Join; import java.util.Set; import java.io.*;import org.apache.hadoop.io.Text;import org.apache.ha ...
