从Physical plan到Map-Reduce Plan
注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。
入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce
j...
分类:
其他好文 时间:
2014-05-10 08:46:07
阅读次数:
366
通常情况下,每次使用ssh登录或使用scp复制远程系统的文件时,都需要提供密码,然后才能做进一步的处理。为了省略输入密码这一步骤,有时可以采用Shell脚本的方法解决,但这需要把手工输入的密码以明码形式放在脚本文件中。
利用密钥配置文件,OpenSSH可以是ssh远程登录与scp文件复制的操作过程中省略密码验证的中间环节。...
分类:
其他好文 时间:
2014-05-07 08:57:54
阅读次数:
388
尽管在Linux里传播的病毒不多,但也是存在一些,我从一些安全站点搜集了一些资料。
1、病毒名称:
Linux.Slapper.Worm
类别: 蠕虫
病毒资料: 感染系统:Linux
不受影响系统:Windows 3.x,
Windows 95, Windows 98, Windows NT, Windows 2000, Windo...
分类:
系统相关 时间:
2014-05-07 07:02:02
阅读次数:
802
eshell是emacs shell的简称,是emacs自带的shell.开始设置的时候还在想是否要找到它的key map (eshell-mode-map?).
原来它是采用hook设置,如下所示
(add-hook 'eshell-mode-hook
(lambda ()
(local-set-key (kbd "C-j") 'switch-to...
分类:
其他好文 时间:
2014-05-07 05:25:39
阅读次数:
253
1.shell介于操作系统与用户之间,负责解释命令行
2./etc/shells 记录了系统支持的有效登录的shell
3./etc/passwd 最后一位可以看到用户默认的shell
4.直接输入shell的名称 可以切换shell
5.shell命令的记录可以用history查看 history -c 清除
历史命令存放在.bash_history文件中
...
分类:
其他好文 时间:
2014-05-07 05:11:21
阅读次数:
244
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。
补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。
UDFs
通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:
其他好文 时间:
2014-05-07 05:10:44
阅读次数:
567
bash是linux上默认的shell,可以使用tab补全,上下键切换历史命令等。
客户的服务器忽然更改成了AIX,telnet上去一看,晕,竟然默认的是ksh,用起来感觉很别扭,还是安装bash吧
安装过程如下:
1、下载bash的rpm安装包
2、传到AIX上后,直接用RPM解开:
# rpm -...
分类:
其他好文 时间:
2014-05-06 18:59:04
阅读次数:
407
/**
* js实现继承:
* 1.基于原型链的方式
* 2.基于伪造的方式
* 3.基于组合的方式
*/
一、基于原型链的方式
function Parent(){
this.pv = "parent";
}
Parent.prototype.showParentValue = function(){
console.log(this.pv);
}...
分类:
Web程序 时间:
2014-05-06 18:49:35
阅读次数:
387
写脚本:写的是维护工具,也是写脚本的目的,用途shell,直译是壳shell脚本是面向过程的#!/bin/bash是指此脚本是用那种shell解释执行的,是特殊的表示符/etc/profile:给用户加载最基本的环境变量,配置全局变量~/.bash_profile:个人环境/etc/bashrc:配置别名或shell选项====..
分类:
其他好文 时间:
2014-05-06 17:25:18
阅读次数:
262