MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有些疑问，...
分类：
其他好文 时间：
2014-11-23 17:26:20
阅读次数：
181
JobTracker的作业调度给我感觉就是比较宏观意义上的操作。倘若你只了解了MapReduce的工作原理是远远不够的，这时去学习一下他在宏观层面的原理实现也是对我们非常有帮助的。首先我们又得从上次分析的任务提交之后的操作说起，Job作业通过RPC通信提交到JobTracker端之后，接下来会触发到下面的方法；
/**
* 初始化作业操作
*/
public void initJ...
分类：
其他好文 时间：
2014-11-23 13:14:55
阅读次数：
305
微软近期Open的职位:Job title: Software Design Engineer IILocation: China, BeijingDivision: Operations System Group EngineeringGroup OverviewOSG is delivering...
分类：
移动开发 时间：
2014-11-22 07:03:43
阅读次数：
197
一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时，发生了OOM的异常。由于一个map通常配置只有64MB或者128MB，则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred...
分类：
其他好文 时间：
2014-11-21 20:33:32
阅读次数：
234
一、子查询1.相关子查询 相关子查询是指需要引用主查询列表的子查询语句，相关子查询是通过EXISTS谓词来实现的。下面以显示工作在"new york"的所有雇员为例，说明相关子查询的使用方法，示例如下： SQL> select ename,job,sal,deptno from emp...
分类：
数据库 时间：
2014-11-21 18:05:48
阅读次数：
217
微软近期Open的职位:Job title: Software Design Engineer IILocation: China, BeijingDivision: Operations System Group EngineeringGroup OverviewOSG is delivering...
分类：
移动开发 时间：
2014-11-21 17:53:00
阅读次数：
186
Spring Batch_JOB执行流程分析 debug 代码 JobExecution?result?=?launcher.run(job,
jobParametersBuilder.toJobParameters()); 这是启动job的方法，如下是方法的具体实现： SimpleJobLauncher.java run方法...
分类：
编程语言 时间：
2014-11-21 16:47:29
阅读次数：
490
wm_concat函数：字段合并函数
目标：根据某字段相同值，实现其它某字段合并
【实验】
使用实验scott用户下的emp表
SQL> select * from emp;
--先来查看一下emp表的全部内容
EMPNO JOB MGR HIREDATE SAL COMM DEPTNO ENAME
----- --------- -...
分类：
数据库 时间：
2014-11-21 14:29:59
阅读次数：
247
写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现，
args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。
这样在执行MR的时候，输入会将多个源路径全部多为map输入进行执行。
另外一种实现单输入的方法（只支持一...
分类：
其他好文 时间：
2014-11-21 10:49:44
阅读次数：
269
ROLLUP()函数是对于GROUPBY分组统计的功能扩展，可以实现分组统计求和的效果。下面我们开始准备我们的试验的环境--创建新表employee_salary，存储数据来自用户hr.employeesSQL>CREATETABLEemployee_salaryASSELECTE.FIRST_NAME,E.JOB_ID,E.MANAGER_ID,E.SALARYFROMHR.EMPLOY..
分类：
数据库 时间：
2014-11-20 12:11:02
阅读次数：
233
