MR执行环境有两种：本地测试环境，服务器环境 本地测试环境(windows，用于测试) 1、下载Winddows版的Hadoop程序，解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件（下载地址：http://pan.baidu.com/s/1mhrsQyG） 2、在wi
分类：
其他好文 时间：
2016-02-27 23:24:57
阅读次数：
300
自学hadoop真的很困难，主要是hadoop版本太混乱了，各个版本之间兼容性并不算太好。更主要的是网上的很多MapReduce的Java例子不写import！！！只写类名！！！偏偏Hadoop中有很多重名的类，不写Import根本不知道是哪个类！！！而且也不写上hadoop的版本号！！！让人根本看
分类：
其他好文 时间：
2016-02-26 09:16:09
阅读次数：
229
Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序编写规范 1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中
分类：
其他好文 时间：
2016-02-22 20:43:57
阅读次数：
263
package org.apache.hadoop.mapreduce.io; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.W
分类：
其他好文 时间：
2016-02-02 16:37:45
阅读次数：
123
InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1).数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的spl
分类：
其他好文 时间：
2016-01-31 21:15:11
阅读次数：
418
初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。然而，对于Hadoop而言，当遇到错误时，第一时间应该是查看日志，日志里通常会有详细的错误原因提示，本文将总结Hadoop MapReduce日志存放位置
分类：
其他好文 时间：
2016-01-31 21:14:38
阅读次数：
172
一、 Storm整体介绍 Storm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个Worker 发生意外故障， 调度器立即分配一个新的Worker替
分类：
Web程序 时间：
2016-01-28 18:47:05
阅读次数：
177
MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框就是mapreduce，两者缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。
分类：
其他好文 时间：
2016-01-28 17:16:53
阅读次数：
201
hadoop jar /home/ochadoop/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar pi -Dmapreduce.job.queuename=ochadoop 50 100 ...
分类：
其他好文 时间：
2016-01-20 07:39:42
阅读次数：
244
import com.hadoop.compression.lzo.LzoIndexer;import com.hadoop.compression.lzo.LzopCodec;FileOutputFormat. setCompressOutput( job, true); // 设置压缩FileO...
分类：
其他好文 时间：
2016-01-07 20:04:13
阅读次数：
233
