此文承接Job流程：Mapper类分析.MapReduce为确保每个reducer的输入都按键排序，数据从map输出到reducer输入的这段过程成为Shuffle。map端1).Spill溢写. 每个map()方法都将处理结果输出到一个环形内存缓冲区buf(100MB)中(mapreduce.ta...
分类：
其他好文 时间：
2015-08-27 12:59:22
阅读次数：
311
Dapper, a light weight object mapper for ADO.NET轻量级orm辅助类，不用配置，直接引入一个cs文件或者引入其dll就能使用。使用连接对象的query方法的时候，可以指定返回泛型T，然后再具体的使用中再去传入对象。传入的对象字段无需和数据库字段一一对应（...
分类：
移动开发 时间：
2015-08-21 21:03:43
阅读次数：
3180
1.Hadoop Streaming是为了方便不太熟悉java用户编写MR程序的工具。用户可以将任何可执行文件（C++）或者脚本(python，ruby)作为Mapper/Reducer, 提高了效率。Hadoop Steaming 要求用户编写的Mapper/Reducer从【标准输入】中读取数据...
分类：
其他好文 时间：
2015-08-21 13:02:06
阅读次数：
137
generator? properties： # 数据库驱动jar 路径
drive.class.path=E:\\develop_softs\\.m2\\repository\\mysql\\mysql-connector-java\\5.1.30\\mysql-connector-java-5.1.30.jar
# 数据库连接参数
jdbc.drive...
分类：
移动开发 时间：
2015-08-21 11:37:58
阅读次数：
151
作用：
1、将输入切分成split，确定split大小，map个数。 由getSplits方法实现。
2、为mapper提供输入数据，key/value形式。getRecordReader方法
核心算法：
1、文件切分算
作用：确定split个数。
概念：
globalSize： totalsize/numSplits ;
minSize: InputSplit 最小值 配...
分类：
其他好文 时间：
2015-08-19 23:45:56
阅读次数：
168
1. #{…} 和 ${…}的区别
2.要使用LIKE语句该怎么写?
3.如何执行批量插入?
4.如何获取自动生成的(主)键值?
5.在mapper中如何传递多个参数?...
分类：
其他好文 时间：
2015-08-19 16:52:56
阅读次数：
136
MyBatis 的真正强大在于它的映射语句，也是它的魔力所在。由于它的异常强大，映射器的 XML 文件就显得相对简单。如果拿它跟具有相同功能的 JDBC 代码进行对比，你会立即发现省掉了将近 95% 的代码。MyBatis 就是针对 SQL 构建的，并且比普通的方法做的更好。SQL 映射文件有很少的...
分类：
移动开发 时间：
2015-08-19 16:34:21
阅读次数：
176
Hive的Explain命令，用于显示SQL查询的执行计划。Hive查询被转化成序列阶段（这是一个有向无环图）。这些阶段可能是mapper/reducer阶段，或者是Metastore或文件系统的操作，如移动和重命名的阶段。例子hive> explain > select * from stu...
分类：
其他好文 时间：
2015-08-17 21:08:43
阅读次数：
286
在安装Oracle的时候，因为预留的空间被其它的软件占用了一些，需要对目录空间进行扩展，步骤如下：增加空间之前df的结果[root@linux02~]#df-hFilesystemSizeUsedAvailUse%Mountedon
/dev/mapper/VG_ROOT-lv_root
7.7G2.7G4.7G37%/
tmpfs996M0996M0%/dev/shm
/dev/mapper/VG_ROO..
分类：
其他好文 时间：
2015-08-17 19:48:10
阅读次数：
150
1、Mybatis基础: #{...} 和 ${...} 的区别
2、有两种使用LIKE的方法。
3、mybatis如何执行批量插入?
4、mybatis如何获取自动生成的(主)键值?
5、mybatis在mapper中如何传递多个参数?...
分类：
编程语言 时间：
2015-08-16 23:05:35
阅读次数：
226
