一、Mapper类的实现
static class MyMapper extends Mapper{
protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper.Context context) throws IOException ,InterruptedException {...
分类：
其他好文 时间：
2015-05-29 10:06:31
阅读次数：
118
devicemapper的多路径1．功能： 可以将多个物理设备合成为一个逻辑设备，可以做普通的合并，或者实现类似raid0的条带化，还可以用来屏蔽硬盘中的坏道扇区，还可做lvm快照来备份数据库，或者通过零设备文件来模拟非常大的设备，用于测试功能。 Device mapper 是lvm 和 multi...
分类：
移动开发 时间：
2015-05-28 17:34:08
阅读次数：
242
devicemapper的多路径
1．功能： 可以将多个物理设备合成为一个逻辑设备，可以做普通的合并，或者实现类似raid0的条带化，还可以用来屏蔽硬盘中的坏道扇区，还可做lvm快照来备份数据库，或者通过零设备文件来模拟非常大的设备，用于测试功能。 Device mapper 是lvm 和 multipating 的底层技术。
2.安装包： device-mapper device-map...
分类：
移动开发 时间：
2015-05-28 16:10:31
阅读次数：
227
本文旨在提供一个Hadoop在运行的时候从命令行输入要统计的文件路径和统计结果的输出路径，不多说直接上代码
1、Mapper类的实现
/**
* KEYIN 即k1 表示行的偏移量
* VALUEIN 即v1 表示行文本内容
* KEYOUT 即k2 表示行中出现的单词
* VALUEOUT 即v2 表示行中出现的单词的次数，固定值1
*/
sta...
分类：
其他好文 时间：
2015-05-28 00:51:18
阅读次数：
219
1、Mapper类的实现
/**
* KEYIN 即k1 表示行的偏移量
* VALUEIN 即v1 表示行文本内容
* KEYOUT 即k2 表示行中出现的单词
* VALUEOUT 即v2 表示行中出现的单词的次数，固定值1
*/
static class MyMapper extends Mapper{
protected void map(LongWr...
分类：
其他好文 时间：
2015-05-28 00:47:53
阅读次数：
122
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是<Key，Value>对，IFile以记录<key-len,value-len,key,value>的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和val..
分类：
其他好文 时间：
2015-05-27 19:19:48
阅读次数：
185
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。
和IFile相关的类图如下：
其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOut...
分类：
其他好文 时间：
2015-05-27 19:13:11
阅读次数：
188
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下：其中...
分类：
其他好文 时间：
2015-05-27 19:02:29
阅读次数：
183
原始dao开发问题1、dao接口实现类方法中存在大量模板方法，设想能否将这些代码提取出来，大大减轻程序员的工作量。2、调用sqlsession方法时将statement的id硬编码了3、调用sqlsession方法时传入的变量，由于sqlsession方法使用泛型，即使变量类型传入错误（传入的是泛....
分类：
移动开发 时间：
2015-05-26 14:09:01
阅读次数：
436
这几天阅读《hadoop实战》，初步了解了一下hadoop的核心思想，简要的比较如下：
1. hadoop是一个开源框架，可编写和运行分布式应用处理大数据，具有方便、简单、健壮性、可扩展性等优点
2. MapReduce程序的执行分为两个阶段，为mapping和reducing。每个阶段均定义为数据处理函数，分别被称为mapper和reducer。在mapping阶段，MapReduce获...
分类：
其他好文 时间：
2015-05-25 11:30:41
阅读次数：
190
