MapReduce中Top算法;
利用Hadoop从100w数据中找到最大值问题...
分类:
编程语言 时间:
2014-12-03 00:34:21
阅读次数:
228
介绍怎样搭建用eclipse开发调试Hadoop的环境...
分类:
系统相关 时间:
2014-12-03 00:29:55
阅读次数:
288
Hadoop读书笔记(十)MapReduce中的combiner编程。
从计数器分析combiner的作用......
分类:
其他好文 时间:
2014-12-01 22:29:22
阅读次数:
154
package com.my.hadoop.mapreduce.dataformat;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf...
分类:
其他好文 时间:
2014-12-01 22:19:24
阅读次数:
166
一、Map任务的执行过程读取文件的内容,解析成key、value对,对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数写自己的逻辑,对输入的key、value处理,转换成新的key、value输出对输出的key,value进行分区对不同分区的数据,按照key进行排序分组,...
分类:
其他好文 时间:
2014-12-01 00:47:58
阅读次数:
180
HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtab...
分类:
系统相关 时间:
2014-11-27 22:00:10
阅读次数:
291
Hadoop读书笔记(八)MapReduce 运行时指定参数;
如何将MapReduce 打成jar包;...
分类:
编程语言 时间:
2014-11-26 22:42:15
阅读次数:
281
上一篇分析了split的生成,现在接着来说具体的split具体内容及其相关的文件和类。以FileSplit(mapred包下org/apache/hadoop/mapreduce/lib/input/FileSplit.java)为例,它继承了InputSplit接口,包括以下属性:1 publ.....
分类:
其他好文 时间:
2014-11-26 18:17:27
阅读次数:
270
本文通过具体的实例,介绍如何使用hadoop中mapreduce程序解决平均数以及top N的相关问题。...
分类:
其他好文 时间:
2014-11-14 14:16:48
阅读次数:
199