在idea中的hadoop程序开发（MAC或Linux） hadoop的安装（自己查） 新建一个java project ????3.配置项目结构与依赖（project structure） 4.配置构件（artifacts）：名称（name），类型（Type），构件时重新编...
分类：
其他好文 时间：
2014-12-16 15:26:37
阅读次数：
1010
本篇是大数据系列的开局篇，主要介绍了Hadoop家族，HDFS和MapReduce的概念；通过以“专利数据集”为测试对象，编写MapReduce Demo，了解Hadoop MapReduce的内部运行机制以及Map和Reduce的输入输出键值对如何生成与相互关联等。
分类：
其他好文 时间：
2014-12-13 17:43:37
阅读次数：
355
1.Combiner的作用是什么？ 2.作业级别参数如何调优？ 3.任务及管理员级别有哪些可以调优？ Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序...
分类：
其他好文 时间：
2014-12-10 22:55:33
阅读次数：
255
solution:No job file jar和ClassNotFoundException(hadoop,mapreduce)解决方案...
分类：
编程语言 时间：
2014-12-10 18:11:28
阅读次数：
300
Hadoop中作业(job)、任务(task)和task attempt之间的关系，及其命名方式...
分类：
其他好文 时间：
2014-12-08 23:07:04
阅读次数：
321
javabean必须实现WritableComparable接口，并实现该接口的序列化，反序列话和比较方法package com.my.hadoop.mapreduce.sort;import java.io.DataInput;import java.io.DataOutput;import ja...
分类：
编程语言 时间：
2014-12-08 19:18:16
阅读次数：
286
package com.my.hadoop.mapreduce.partition;import java.util.HashMap;import java.util.Map;import org.apache.hadoop.conf.Configuration;import org.apache....
分类：
其他好文 时间：
2014-12-08 17:08:36
阅读次数：
235
问题1：java.lang.IncompatibleClassChangeError:Found interface org.apache.hadoop.mapreduce.JobContext, but class was expectedat org.apache.mahout.common.H...
分类：
其他好文 时间：
2014-12-05 19:14:19
阅读次数：
1053
分片:1. 在job.submit() 提交job之后 会调用submitter.submitJobInternal(Job.this, cluster);2. 在submitJobInternal()函数中 会给job创建分片int maps = writeSplits(job, submitJo...
分类：
其他好文 时间：
2014-12-04 19:38:42
阅读次数：
161
Hadoop读书笔记（十二）MapReduce自定义排序...
分类：
编程语言 时间：
2014-12-03 00:32:03
阅读次数：
228
