hadoop上的并行应用程序开发是基于MapReduce编程框架的，MapReduce编程模型的原理是：利用一个输入的key/value对集合来产生一个输出的key/value对集合。MapReduce库的用户用两个函数来表达这个计算：Map和Reduce。
用户自定义的map函数接收一个输入的key/value对，然后产生一个中间key/value对的集合。MapReduce把所有...
分类：
其他好文 时间：
2014-10-12 21:51:28
阅读次数：
165
mapreduce中我们自己定义的mapper和reducer程序在运行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的运行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。 首先要明白的是mapreduce推断任务失败的方式。三种情况下任务...
分类：
其他好文 时间：
2014-10-12 20:07:38
阅读次数：
194
hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。mapred-site.xml添加如下配置 mapreduce.jobhistory.address hadoop000:10020 Ma...
分类：
其他好文 时间：
2014-10-11 20:26:06
阅读次数：
251
1.起因(Why HBase Coprocessor)
HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(统计数据表的总行数，需要使用Counter方法，执行一次MapReduce
Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单...
分类：
其他好文 时间：
2014-10-11 13:39:55
阅读次数：
298
以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间
1. HBase来源于哪篇博文？ C
A The Google File System
B MapReduce
C BigTable
D Chubby
2. 下面对HBase的描述哪些是正确的？ B、C、D
A 不是开源的
B 是面向列的
C 是分布式...
分类：
其他好文 时间：
2014-10-10 17:56:44
阅读次数：
342
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2014-10-10 14:15:04
阅读次数：
166
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富...
分类：
其他好文 时间：
2014-10-09 17:05:07
阅读次数：
264
本文用实例介绍Spark中RDD和MapReduce相关的API。...
今天在用hive进行查询练习，因为采用了条件查询，hive默认会把查询转变成mapreduce的job去执行，结果发现job一直僵在那里不动，找了好久都没发现问题，看hadoop的mast节点日志，也没有问题，最后查看node节点的日志发现了“INFO org.apache.hadoop.ipc.....
分类：
其他好文 时间：
2014-10-09 02:04:37
阅读次数：
813
