从Physical plan到Map-Reduce Plan
注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。
入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce
j...
分类:
其他好文 时间:
2014-05-10 08:46:07
阅读次数:
366
首先:用col*1.00
把int字段隐式转换成decimal类型。然后:用round(col,2)来截取前两个小数前的数据
最后:用CONVERT(FLOAT,decimalNum)来转换成float类型 eg:CONVERT(FLOAT,(round((col1*1.00
)*100/(c...
分类:
数据库 时间:
2014-05-09 12:24:01
阅读次数:
340
/*按照符号分割字符串*/create function [dbo].[m_split](@c
varchar(2000),@split varchar(2)) returns @t table(col varchar(200)) as begin
wh...
分类:
数据库 时间:
2014-05-09 12:18:45
阅读次数:
376
重写Ext.override(Ext.grid.RowEditor, {
addFieldsForColumn : function(column, initial) { var me = this, i, length,
field; if (Ext.isArray(col...
分类:
Web程序 时间:
2014-05-09 10:31:24
阅读次数:
411
介绍
Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作,以及进一步的MR...
分类:
其他好文 时间:
2014-05-09 02:08:17
阅读次数:
358
org.apache.hadoop.mapred.JobTracker类是个独立的进程,有自己的main函数。JobTracker是在网络环境中提交及运行MR任务的核心位置。
main方法主要代码有两句:1 //创建jobTracker对象2 JobTracker t...
分类:
其他好文 时间:
2014-05-08 22:51:48
阅读次数:
368
本文通过跟代码的方式,分析从输入一批Pig-latin到输出物理执行计划(与launcher引擎有关,一般是MR执行计划,也可以是Spark RDD的执行算子)的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job,而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤(方法和类)。...
分类:
其他好文 时间:
2014-05-08 04:00:42
阅读次数:
407
相关文章不管对SEO还是用户体验都有好的效果,使用如下的DEDE全站相关文章设置方法,使相关文章不局限于默认的某一个栏目,喜欢的朋友可以试试。{dede:likearticlerow=‘‘col=‘‘titlelen=‘‘infolen=‘‘}<ahref=‘[field:arcurl/]‘>[field:title/]</a>{/dede:likeartic..
分类:
其他好文 时间:
2014-05-08 02:15:02
阅读次数:
265
SQL>showlinesize;#设置每行显示的字符数
linesize10000
SQL>showpagesize;#设置每页显示的行数
pagesize1000
SQL>setlinesize100;
SQL>setpagesize300;
SQL>showlinesize;
linesize100
SQL>showpagesize;
pagesize300
col列名fora20#设置指定列的显示格式
分类:
数据库 时间:
2014-05-07 22:12:44
阅读次数:
453
对于边比较稠密的图,可以采用邻接矩阵(以顶点为中心)的方式表示,而边比较稀疏时,采用邻接表的结构更合适。两种都不能直观表达哪两个点相连或者最短路径是什么。
深度优先遍历类似于树的先根序遍历。与树不同的是,它需要对已经访问过的节点添加标记以免被重复遍历。
public class Depth {
/**
* 对k号节点深度遍历
* @param a
* @param col...
分类:
其他好文 时间:
2014-05-07 08:02:01
阅读次数:
293