1、Mapper类的实现
/**
* KEYIN 即k1 表示行的偏移量
* VALUEIN 即v1 表示行文本内容
* KEYOUT 即k2 表示行中出现的单词
* VALUEOUT 即v2 表示行中出现的单词的次数，固定值1
*/
static class MyMapper extends Mapper{
protected void map(LongWr...
分类：
其他好文 时间：
2015-05-28 00:47:53
阅读次数：
122
一、HBase简介
HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。二、HBASE基础知识表(table)，是...
分类：
其他好文 时间：
2015-05-27 12:17:17
阅读次数：
274
问：在eclipse中的写的代码如何提交作业到JobTracker中的哪？
答：(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法
connect();
info = jobClient.submitJobInternal(conf);
(2)在connect()方法中，实际上创建了一个JobCli...
分类：
其他好文 时间：
2015-05-27 01:02:32
阅读次数：
125
Apache Hadoop项目的目前版本（2.0版）含有以下模块：Hadoop通用模块：支持其他Hadoop模块的通用工具集。Hadoop分布式文件系统（HDFS）：支持对应用数据高吞吐量访问的分布式文件系统。Hadoop YARN：用于作业调度和集群资源管理的框架。Hadoop MapReduce...
分类：
其他好文 时间：
2015-05-26 15:59:35
阅读次数：
140
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和R...
分类：
其他好文 时间：
2015-05-26 12:55:33
阅读次数：
226
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和...
分类：
其他好文 时间：
2015-05-26 12:47:45
阅读次数：
146
数据格式如下：
第一个字母代表本人，其他是他的朋友，找出共同朋友的人，和共同朋友是谁？package FindFriend;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Set;
import java.util.StringTokeni...
分类：
其他好文 时间：
2015-05-26 12:43:09
阅读次数：
151
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduc...
分类：
其他好文 时间：
2015-05-26 12:28:52
阅读次数：
155
本文提供一个以Hadoop MapReduce方式统计文本中每个单词的数量的例子，不多说，直接上代码
package com.lyz.hadoop.count;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org...
分类：
其他好文 时间：
2015-05-26 00:20:27
阅读次数：
284
前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了Hadoop
MapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapre..
分类：
其他好文 时间：
2015-05-25 20:44:11
阅读次数：
139
