更多精彩内容请关注：http://bbs.superwu.cnHadoop源代码分析（MapTask辅助类 I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。MapTask.TrackedRecordReade...
分类：
其他好文 时间：
2015-06-01 18:25:52
阅读次数：
123
我使用springMVC集成mybatis，执行SQLMapper配置文件里的insert操作，发现程序没有报错，但数据库表里却没有刚才插入的记录。查了很多资料，终于在一篇博客上找到了答案：在执行完方法后，必须有session.commit();这句话进行事务提交。因为在做Insert Update...
分类：
移动开发 时间：
2015-06-01 18:19:48
阅读次数：
500
MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
MapTask.TrackedRecordReader是一个Wrapper，在原有输入RecordReader的基础上，添加了收集上报统计数据的功能。
MapTask.SkippingRecordReader也是一个Wrapper，它在MapTask.Tra...
分类：
其他好文 时间：
2015-06-01 16:50:53
阅读次数：
107
相似度计算map-reduce实现思路
输入：
1 f(1)
2 f(2)
3 f(3)
4 f(4)
mapper:
1,2 f(1)
1,3 f(1)
1,4 f(1)
1,2 f(2)
2,3 f(2)
2,4 f(2)
1,3 f(3)
2,3 f(3)
3,4 f(3)
1,4 f(4)
2,4 f(4)
3,4 f(4)...
分类：
其他好文 时间：
2015-05-31 18:32:49
阅读次数：
98
通过Hadoop的自定义排序算法可实现从海量数字中获取最大值，不多说，直接上代码
1、Mapper类的实现
static class MyMapper extends Mapper{
long max = Long.MIN_VALUE;
protected void map(LongWritable k1, Text v1, Context context) throws ja...
分类：
其他好文 时间：
2015-05-31 14:07:01
阅读次数：
212
不多说，直接上代码,大家都懂得
1、Mapper类的实现
/**
* Mapper类的实现
* @author liuyazhuang
*
*/
static class MyMapper extends Mapper{
protected void map(LongWritable key, Text value, org.apache.hadoop.mapred...
分类：
其他好文 时间：
2015-05-31 14:02:10
阅读次数：
230
要求首先按照第一列升序排列，当第一列相同时，第二列升序排列；不多说直接上代码
1、Mapper类的实现
/**
* Mapper类的实现
* @author liuyazhuang
*
*/
static class MyMapper extends Mapper{
protected void map(LongWritable key, Text value, org...
分类：
编程语言 时间：
2015-05-31 14:00:06
阅读次数：
123
Docker 存储池扩容 如果在 CentOS 、 REHL 、 Fedor 或者其他默认没有 AUFS 支持的 Linux 发行版上使用 Docker ，你可能需要用到 Device Mapper 的存储插件。将这个插件设置为默认，它会把你所有的容器存储到一个 100G 的简短文件中，并且限制每个...
分类：
其他好文 时间：
2015-05-29 19:53:24
阅读次数：
146
Docker 存储池扩容 如果在 CentOS 、 REHL 、 Fedor 或者其他默认没有 AUFS 支持的 Linux 发行版上使用 Docker ，你可能需要用到 Device Mapper 的存储插件。将这个插件设置为默认，它会把你所有的容器存储到一个 100G 的简短文件中，并且限制每个容器最大为
10GB 。这篇文章将展示如何突破这个限制，并且把容器的存储移动到一个指定的分区或者...
分类：
其他好文 时间：
2015-05-29 18:14:44
阅读次数：
183
一、Mapper类的实现
/**
* KEYIN 即k1 表示行的偏移量
* VALUEIN 即v1 表示行文本内容
* KEYOUT 即k2 表示行中出现的单词
* VALUEOUT 即v2 表示行中出现的单词的次数，固定值1
*/
static class MyMapper extends Mapper{
protected void map(LongWr...
分类：
其他好文 时间：
2015-05-29 10:09:21
阅读次数：
179
