1.首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。2.有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker..
分类：
其他好文 时间：
2015-03-30 19:01:13
阅读次数：
110
MultiPleOutputs原理
MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR
job运行之后，用脚本对目录下的数据...
分类：
其他好文 时间：
2015-03-30 18:53:36
阅读次数：
172
首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。 有两种...
分类：
其他好文 时间：
2015-03-30 16:42:35
阅读次数：
200
1. 首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。
2. 有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker。jobtracker通过调度任务在taskt...
分类：
其他好文 时间：
2015-03-30 13:29:57
阅读次数：
179
1 package job.huawei; 2 3 import java.util.Scanner; 4 5 public class TreeHigh { 6 7 /** 8 * 输入字符串如a1b2c2d3e3f3g4构成一颗二叉树数字表示前一个字符所在的层，最多不超...
分类：
其他好文 时间：
2015-03-30 11:00:59
阅读次数：
454
10330. Cutting Sausages
Constraints
Time Limit: 1 secs, Memory Limit: 256 MB
Description
Mirko has given up on the difficult coach job and switched to food tasting instead. Having sk...
分类：
其他好文 时间：
2015-03-30 09:20:14
阅读次数：
169
上篇中说了通过SQL JOB的方式对数据库的同步，这一节作为上一节的延续介绍通过发布订阅的方式实现数据库之间的同步操作。发布订阅份为两个步骤：1、发布。2订阅。首先在数据源数据库服务器上对需要同步的数据进行发布，然后在目标数据库服务器上对上述发布进行订阅。发布可以发布一张表的部分数据，也可以对整张表...
分类：
数据库 时间：
2015-03-29 12:06:46
阅读次数：
141
微软近期Open的职位:Job Title: B&I Site LeadDivision: Phones Quality, SWIQLocation: Beijing, ChinaMicrosoft (China), Phones unit is seeking an individual to l...
分类：
其他好文 时间：
2015-03-29 07:02:31
阅读次数：
114
# 监控内存使用情况job_id=163997workdir=/share_bio/echo "population_sizes" >> $workdir/pbs/pbs.job.$job_id.mem_used.logswhile [ 1 -eq 1 ] do msg=`qstat -f $job...
分类：
其他好文 时间：
2015-03-28 23:11:04
阅读次数：
255
使用到Combiner编程(可插拔式)
在map端对输出先做合并，最基本是实现本地key合并，具有本地reduce功能
如果不用combiner，所有结果都是reduce完成，效率会底下
Combiner的的输入输出类型应该完全一致(实现如累加，最大值等功能)
job.setCombinerClass();
倒排索引基本实现
package cn.MapReduce.px;
impo...
分类：
其他好文 时间：
2015-03-28 17:23:38
阅读次数：
128
