主要错误信息：Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error
in shuffle in fetcher#43
解决办法：限制reduce的shuffle内存使用
hive：set mapreduce.reduce.shuffle.memory.li...
分类：
其他好文 时间：
2015-03-08 15:45:25
阅读次数：
197
1、用于map的输入，先将输入数据切分成相等的分片，为每一个分片创建一个map worker,这里的切片大小不是随意订的，一般是与HDFS块大小一致，默认是64MB，一个节点上存储输入数据切片的最大size就是HDFS的块大小，当设置的切片size大于HDFS块大小，会引起节点之间的传输，占用带宽。...
分类：
其他好文 时间：
2015-03-03 21:58:56
阅读次数：
138
集群上的可用宽带限制了MapReduce作业的数量，因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数，有时候我们也称作combiner，它就像mapper和reducer一样。
合并函数的输出作为reduce函数的输入，由于合并函数是一个优化方案，所以Hadoop无法确定针对map任务输出中任一条记录需要调...
分类：
其他好文 时间：
2015-03-01 11:57:25
阅读次数：
213
Hadoop的MapReduce工作原理
MapReduce 角色
?Client ：作业提交发起者。
?JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。
?TaskTracker：保持JobTracker通信，在分配的数据片段上执行MapReduce任务。
提交作业
?在作业提交之前，需要对作业进行配置
?程序代码，主要是...
分类：
其他好文 时间：
2015-02-27 18:29:09
阅读次数：
165
部分目录：
1，初始Hadoop
2，关于MapReduce
3，Hadoop分布式文件系统
HDFS 文件系统。
4，Hadoop I/O
5，MapReduce应用开发
6，MapReduce的工作机制
7，MapReduce的类型与格式
8，MapReduce 的特性
9，构建 Hadoop 集群
10，管理 Hadoop
11，Pig简介
Pig Latin 描述...
分类：
其他好文 时间：
2015-02-13 20:01:07
阅读次数：
183
前以前帖子介绍，怎样读取文本数据源和多个数据源的合并：http://www.cnblogs.com/liqizhou/archive/2012/05/15/2501835.html 这一个博客介绍一下MapReduce怎样读取关系数据库的数据，选择的关系数据库为MySql，因为它是开源的软件，所以大...
分类：
数据库 时间：
2015-02-13 16:23:37
阅读次数：
222
一、Permission denied
1、Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, acc...
package com;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class MaxTempera...
分类：
其他好文 时间：
2015-02-01 02:01:40
阅读次数：
269
package com;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapr...
分类：
其他好文 时间：
2015-02-01 01:59:25
阅读次数：
229
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
