Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spa...
分类：
编程语言 时间：
2014-10-13 14:23:49
阅读次数：
258
一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个MapReduce...
分类：
编程语言 时间：
2014-10-13 12:30:29
阅读次数：
350
在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数 据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用 上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性、性能等方面的提升。既然Spa...
分类：
编程语言 时间：
2014-10-13 07:52:29
阅读次数：
214
hadoop上的并行应用程序开发是基于MapReduce编程框架的，MapReduce编程模型的原理是：利用一个输入的key/value对集合来产生一个输出的key/value对集合。MapReduce库的用户用两个函数来表达这个计算：Map和Reduce。
用户自定义的map函数接收一个输入的key/value对，然后产生一个中间key/value对的集合。MapReduce把所有...
分类：
其他好文 时间：
2014-10-12 21:51:28
阅读次数：
165
mapreduce中我们自己定义的mapper和reducer程序在运行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的运行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。 首先要明白的是mapreduce推断任务失败的方式。三种情况下任务...
分类：
其他好文 时间：
2014-10-12 20:07:38
阅读次数：
194
hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。mapred-site.xml添加如下配置 mapreduce.jobhistory.address hadoop000:10020 Ma...
分类：
其他好文 时间：
2014-10-11 20:26:06
阅读次数：
251
1.起因(Why HBase Coprocessor)
HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(统计数据表的总行数，需要使用Counter方法，执行一次MapReduce
Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单...
分类：
其他好文 时间：
2014-10-11 13:39:55
阅读次数：
298
以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间
1. HBase来源于哪篇博文？ C
A The Google File System
B MapReduce
C BigTable
D Chubby
2. 下面对HBase的描述哪些是正确的？ B、C、D
A 不是开源的
B 是面向列的
C 是分布式...
分类：
其他好文 时间：
2014-10-10 17:56:44
阅读次数：
342
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2014-10-10 14:15:04
阅读次数：
166
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富...
分类：
其他好文 时间：
2014-10-09 17:05:07
阅读次数：
264
