// thin device数据结构
type DevInfo struct {
Hash string `json:"-"`
DeviceId int `json:"device_id"`
Size uint64 `json:"size"`
TransactionId uint64 `json:"tran...
分类：
移动开发 时间：
2014-07-25 11:02:35
阅读次数：
549
代码测试环境：Hadoop2.4应用场景：当需要处理很多小数据文件的时候，可以应用此技巧来达到高效处理数据的目的。原理：应用CombineFileInputFormat，可以把多个小数据文件在进行分片的时候合并。由于每个分片会产生一个Mapper，当一个Mapper处理的数据比较小的时候，其效率较低。而一般使用Hadoop处理数据时，即默认方式，会把一个输入数据文件当做一个分片，这样当输入文件较小...
分类：
其他好文 时间：
2014-07-23 13:09:36
阅读次数：
281
我在写hadoop的时候，在mapper里定义了一个public static int rownums = 0.但我在main里对这个变量进行了赋值。结果在循环的过程中，根本没有任何输出，因为我是用这个变量来控制循环的，所以我猜想可能是不能改变这个值，于是我直接在初始定义的时候直接赋上正确的值，所以...
分类：
编程语言 时间：
2014-07-22 23:03:12
阅读次数：
253
mybatis mapper 配置文件出现该错误 网上搜了下关于这个错误，导致的原因可能有一下可能： 一种可能是 版本不同 对于Eclipse编译器来说，会有个缓存，这样验证的时候他会告诉你版本不统一 Preferences -> General...
分类：
其他好文 时间：
2014-07-22 08:34:35
阅读次数：
178
SQLAlchemy ORM的学习笔记ORM(Object Relational Mapper)为我们完成的工作：自动构造高水平的SQL; Python对象的持久化。1. Object Relational Tutorial (对象关系)SQLAlchemy ORM提供了一种方法，这种方法将用户定义...
分类：
数据库 时间：
2014-07-21 00:07:31
阅读次数：
461
测试hadoop版本：2.4 Map端聚合的应用场景：当我们只关心所有数据中的部分数据时，并且数据可以放入内存中。使用的好处：可以大大减小网络数据的传输量，提高效率；一般编程思路：在Mapper的map函数中读入所有数据，然后添加到一个List（队列）中，然后在cleanup函数中对list进行处理，输出我们关系的少量数据。实例：在map函数中使用空格分隔每行数据，然后把每个单词添加到一个堆栈中，...
分类：
其他好文 时间：
2014-07-18 23:00:49
阅读次数：
283
135端口:Microsoft在这个端口运行DCE RPC end-point mapper为它的DCOM服务。这与UNIX 111端口的功能很相似。使用DCOM和RPC的服务利用计算机上的end-point mapper注册它们的位置。远端客户连接到计算机时，它们查找end-point mappe...
分类：
其他好文 时间：
2014-07-18 20:05:06
阅读次数：
938
Hadoop代码测试版本：Hadoop2.4原理：在进行MR程序之前对输入数据进行随机提取样本，把样本排序，然后在MR的中间过程Partition的时候使用这个样本排序的值进行分组数据，这样就可以达到全局排序的目的了。难点：如果使用Hadoop提供的方法来实现全局排序，那么要求Mapper的输入、输出的key不变才可以，因为在源码InputSampler中提供的随机抽取的数据是输入数据最原始的ke...
分类：
其他好文 时间：
2014-07-18 18:04:00
阅读次数：
314
本文是一次两台IBMx240安装OEL6.5x64连接IBMV3500存储多路径配置过程记录，当时用于安装Oracle11grac集群环境的。IBMv3500系列存储由于官方不再提供多路径软件，比原来DS系列的存储麻烦一点了，只好采用发行版自带的device-mapper多路径软件包实现。本文出自:http://koumm.blog..
分类：
其他好文 时间：
2014-07-18 13:00:11
阅读次数：
463
Hadoop代码测试环境：Hadoop2.4原理：在Hadoop的MapReduce过程中，Mapper读取处理完成数据后，会把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下：/** Use {@link Object#hashCode()} to partition. */
p...
分类：
其他好文 时间：
2014-07-17 15:06:56
阅读次数：
315
