1，比较器尽量不要让mr产生序列化和反序列化的转换，参考WritableComparable类 2，reducer严重的数据倾斜，可以考虑自定义分区器 ? ? ?但是之前可以尝试使用combiner来压缩数据看是否能解决问题 3，Map阶段不使...
分类：
其他好文 时间：
2015-09-01 01:54:53
阅读次数：
187
数据集文件：
customers：
1,Stephanie leung,555-555-555
2,Edward Kim,123-456-7890
3,Jose Madriz,281-330-8004
4,David Stork,408-555-0000
orders：
3,A,12.95,02-Jun-2008
1,B,88.25,20-May-2008
2,C,32.00,30-Nov...
分类：
其他好文 时间：
2015-08-29 09:54:52
阅读次数：
203
侧联结原理：
Map端工作：为来自不同表，也就是多个数据集的key/value对贴上一个标签，来区别不同数据源的记录。然后用链接字段作为kye，其余部分和新加的标志作为value，最后输出一个记录包。也就是说。，map端的工作就是做来源判断，并对符合key的值进行区分。
Map端完成之后就是就将数据分组了。
Reduce端工作：在reduce端以链接字段作为key的分组已经完成，我们只需要在...
分类：
其他好文 时间：
2015-08-29 00:55:49
阅读次数：
142
此文承接Job流程：Mapper类分析.MapReduce为确保每个reducer的输入都按键排序，数据从map输出到reducer输入的这段过程成为Shuffle。map端1).Spill溢写. 每个map()方法都将处理结果输出到一个环形内存缓冲区buf(100MB)中(mapreduce.ta...
分类：
其他好文 时间：
2015-08-27 12:59:22
阅读次数：
311
理解其就像关系型数据库中的链接查询一样,数据很多的时候,几个数据文件的数据能够彼此有联系,可以使用Reduce联结。举个很简单的例子来说,一个只存放了顾客信息Customer.txt文件,和一个顾客相关联的Order.txt文件,要进行两个文件的信息组合,原理图如下:
这里涉及的几个专业术语:Group key ，datasourde,Tag.前者的话通俗点来说的话就相当于关系型数据库中的...
分类：
其他好文 时间：
2015-08-27 00:24:44
阅读次数：
177
1.Hadoop Streaming是为了方便不太熟悉java用户编写MR程序的工具。用户可以将任何可执行文件（C++）或者脚本(python，ruby)作为Mapper/Reducer, 提高了效率。Hadoop Steaming 要求用户编写的Mapper/Reducer从【标准输入】中读取数据...
分类：
其他好文 时间：
2015-08-21 13:02:06
阅读次数：
137
Hive的Explain命令，用于显示SQL查询的执行计划。Hive查询被转化成序列阶段（这是一个有向无环图）。这些阶段可能是mapper/reducer阶段，或者是Metastore或文件系统的操作，如移动和重命名的阶段。例子hive> explain > select * from stu...
分类：
其他好文 时间：
2015-08-17 21:08:43
阅读次数：
286
类似于Linux管道重定向机制，前一个Map的输出直接作为下一个Map的输入，形成一个流水线。设想这样一个场景：在Map阶段，数据经过mapper1和mapper2处理；在Reduce阶段，数据经过sort和shuffle后，交给对应的reducer处理。reducer处理后并没有直接写入到Hdfs...
分类：
移动开发 时间：
2015-08-15 14:44:53
阅读次数：
123
解释： 1、JVM重用是hadoop调优参数的内容，对hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或者task特别多的场景，这类场景大多数执行时间都很短。hadoop默认配置是使用派生JVM来执行map和reduc...
分类：
其他好文 时间：
2015-08-11 19:26:44
阅读次数：
463
网上有很多hadoop例子，但是不难发现，即使是一个wordcount都有很多不一样的地方，我们不可能总拿着别人的例子跑，所以自己要总结出一套规范，让api即使更新也能马上适应过来。这里也以hadoop 专利分析作为炮灰
右键新建map/reduce项目，然后点击项目右键Mapper,Reducer,MapperReduce Driver 并且在MapperReduce Driver 里填...
分类：
其他好文 时间：
2015-08-10 22:20:48
阅读次数：
126
