4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1)数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的s...
分类：
其他好文 时间：
2014-07-09 23:49:37
阅读次数：
487
英文原文：cloudera，编译：ImportNew–Royce WongHadoop从这里开始!和我一起学习下使用Hadoop的基本知识，下文将以Hadoop Tutorial为主体带大家走一遍如何使用Hadoop分析数据!这个专题将描述用户在使用Hadoop MapReduce(下文缩写成MR)...
分类：
其他好文 时间：
2014-07-08 11:38:11
阅读次数：
315
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的.....
分类：
其他好文 时间：
2014-06-29 19:20:17
阅读次数：
252
package com.leaf.hadoop.second;
import java.util.Random;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hado...
分类：
其他好文 时间：
2014-06-27 10:00:17
阅读次数：
294
packagecom.smilezl.learn.CalWord;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hado..
分类：
其他好文 时间：
2014-06-25 06:28:59
阅读次数：
242
难得想写个mapreduce程序，发现已经不记得需要添加那些jar包了，网上找了一会也没发现准确的答案。幸好对hadoop体系结构略知一二，迅速试出了写mapreduce程序需要的三个jar包。
不多不少，3个包足矣……贴出来免得其朋友再走弯路
（请忽视包的版本不一致问题，是我从其他项目中东拼西凑过来的）...
分类：
其他好文 时间：
2014-06-24 21:44:15
阅读次数：
321
摘要：MapReduce程序进行单词计数。
关键词：MapReduce程序 单词计数...
分类：
其他好文 时间：
2014-06-22 19:59:49
阅读次数：
177
摘要：MapReduce程序处理专利数据集。
关键词：MapReduce程序 专利数据集...
分类：
其他好文 时间：
2014-06-22 17:03:44
阅读次数：
188
