参照Apache的官方文档，Hadoop2还是蛮好搭建的，但是搭建好后，MapReduce的JobHistory页面却没法进去，这是因为JobHistory没有配置正确或者服务没有启动起来。本文将梳理伪分布模式的搭建过程，并给出配置文档，让你不再为搭建这些过程烦恼。...
分类：
其他好文 时间：
2014-11-25 23:35:11
阅读次数：
238
SQL自连接
SQL自身连接，可以解决很多问题。下面举的一个例子，就是使用了SQL自身连接，它解决了列与列之间的逻辑关系问题，准确的讲是列与列之间的层次关系。
对于下面的表cp(存储的孩子和父母的关系)，用一个SQL，找出所有的 grandchild 和 grandparent，就是找出所有的 孙子 -> 祖父母
+-------+--------+
| child | parent |...
分类：
其他好文 时间：
2014-11-25 16:32:56
阅读次数：
153
1 输入数据
import java.io.DataOutputStream;
import java.util.Random;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* 随机生成一批...
分类：
编程语言 时间：
2014-11-25 12:50:17
阅读次数：
205
上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker，这次把目光 移动到TaskTracker上面。TaskTracker在这里其实是一个slave的从属关系。我在后面的分析会通过TaskTracker的执行流程，主要讲他的2个过程的分析1.作业启动执行2.与JobTracker的heatbeat的过程。2个过程都是非常的典型。
与...
分类：
其他好文 时间：
2014-11-25 10:55:32
阅读次数：
321
Pig环境安装
pig的安装非常简单，将pig-0.14.0.tar.gz解压到合适的目录下
tar -zxvf pig-0.14.0.tar.gz
修改环境变量：
#pig
export PIG_HOME=/usr/local/cloud/pig-0.11.1/pig-0.11.1
export PATH=.:$PIG_HOME/bin:$PATH
export PIG_CLASSP...
分类：
其他好文 时间：
2014-11-25 00:17:55
阅读次数：
284
Hadoop读书笔记（五）MapReduce统计单词demo...
分类：
其他好文 时间：
2014-11-24 22:35:16
阅读次数：
281
以WordCount为例在类WordCount中实现两个内部静态类（Map，Reduce）1、Mappublic static class Map extends MapReduceBase implements Mapper { private final static IntWritabl...
分类：
其他好文 时间：
2014-11-24 11:23:39
阅读次数：
236
一. MapReduce执行过程
MapReduce运行的时候, 会通过Mapper运行的任务读取HDFS中的数据文件, 然后调用自己的方法处理数据, 最后输出. Reduce任务会接受Mapper任务输出的数据, 作为自己输入的数据, 然后调用自己的方法, 最后输出到HDFS的文件中....
分类：
其他好文 时间：
2014-11-23 23:18:51
阅读次数：
314
MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有些疑问，...
分类：
其他好文 时间：
2014-11-23 17:26:20
阅读次数：
181
JobTracker的作业调度给我感觉就是比较宏观意义上的操作。倘若你只了解了MapReduce的工作原理是远远不够的，这时去学习一下他在宏观层面的原理实现也是对我们非常有帮助的。首先我们又得从上次分析的任务提交之后的操作说起，Job作业通过RPC通信提交到JobTracker端之后，接下来会触发到下面的方法；
/**
* 初始化作业操作
*/
public void initJ...
分类：
其他好文 时间：
2014-11-23 13:14:55
阅读次数：
305
