1、MapReduce代码入口FileInputFormat.setInputPaths(job, new Path(input)); //设置MapReduce输入格式job.waitForCompletion(true);2、InputFormat分析public abstract class ...
分类:
移动开发 时间:
2014-11-29 00:15:04
阅读次数:
200
简介:传统关系类型(ORM:Object-Relational Mapper),MongoDB(ODM:Object Document Mapper);MongoDB是一个面向文档,schme无关(可以将任意类型的文档数据存储到集合中)的数据库;MongoDB中可以将数据都看作文档,文档可以是任意深...
分类:
数据库 时间:
2014-11-27 14:16:49
阅读次数:
185
Hadoop的二次排序2013-01-08 14:46:53分类:HADOOPhadoop的使用中,一般只关注运行结果。对于mapper和reducer之间的处理逻辑往往不care。比如key-value对到达reducer的先后顺序等目前接触到的运用场景有:1.根据用户操作时间来整理事件链,在网站...
分类:
编程语言 时间:
2014-11-26 20:46:43
阅读次数:
197
以WordCount为例在类WordCount中实现两个内部静态类(Map,Reduce)1、Mappublic static class Map extends MapReduceBase implements Mapper { private final static IntWritabl...
分类:
其他好文 时间:
2014-11-24 11:23:39
阅读次数:
236
一. MapReduce执行过程
MapReduce运行的时候, 会通过Mapper运行的任务读取HDFS中的数据文件, 然后调用自己的方法处理数据, 最后输出. Reduce任务会接受Mapper任务输出的数据, 作为自己输入的数据, 然后调用自己的方法, 最后输出到HDFS的文件中....
分类:
其他好文 时间:
2014-11-23 23:18:51
阅读次数:
314
来源:http://stackoverflow.com/questions/5785549/able-to-push-to-all-git-remotes-with-the-one-command
有两种做法,先看第一种
一、按照下面的操作:
例如我有下面两个仓库:
Mybatis通用Mapper
https://git.oschina.net/free/Mapp...
分类:
其他好文 时间:
2014-11-22 17:31:26
阅读次数:
159
查看NFS进程:nfsstat重启NFS服务:rcnfsserverrestart设置nfs服务(双磁盘):pvcreate/dev/sdhpvcreate/dev/sdivgcreatesdp_vgfs/dev/sdh/dev/sdivgdisplaysdp_vgfs查看vg的大小,查看结果为18Glvcreate-L18G-nsdp_lvfssdp_vgfsmkfs-text3/dev/mapper/sdp_vgfs-sdp_lvfs设置/..
分类:
其他好文 时间:
2014-11-21 16:45:54
阅读次数:
168
ObjectMapper mapper = new ObjectMapper(); try { user = mapper.readValue(new StringReader(json), User.class); } catch (JsonParseExcepti...
分类:
移动开发 时间:
2014-11-20 18:42:29
阅读次数:
282
之前一直使用"org.mybatis.spring.mapper.MapperFactoryBean"这个类在spring中配置mybatis的dao接口,后来发现如果dao太多话,配置非常繁冗,于是想改用org.mybatis.spring.mapper.MapperScannerConfig.....
分类:
移动开发 时间:
2014-11-20 10:13:10
阅读次数:
149
开发的时候,写Mybatis Mapper.xml文件的时候,每次修改SQL都需要重启服务,感觉十分麻烦,于是尝试写了一个Mybatis的Mapper.xml热加载。能在修改Mapper.xml之后重新加载Mybatis,开发的时候可以用一下。Spring配置:Java代码:import java....
分类:
移动开发 时间:
2014-11-19 15:44:16
阅读次数:
187