从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
通常情况下，每次使用ssh登录或使用scp复制远程系统的文件时，都需要提供密码，然后才能做进一步的处理。为了省略输入密码这一步骤，有时可以采用Shell脚本的方法解决，但这需要把手工输入的密码以明码形式放在脚本文件中。
利用密钥配置文件，OpenSSH可以是ssh远程登录与scp文件复制的操作过程中省略密码验证的中间环节。...
分类：
其他好文 时间：
2014-05-07 08:57:54
阅读次数：
388
http://wiki.apache.org/hadoop/FAQ...
分类：
其他好文 时间：
2014-05-07 07:51:10
阅读次数：
229
尽管在Linux里传播的病毒不多，但也是存在一些，我从一些安全站点搜集了一些资料。
1、病毒名称：
Linux.Slapper.Worm
类别： 蠕虫
病毒资料： 感染系统：Linux
不受影响系统：Windows 3.x，
Windows 95， Windows 98， Windows NT， Windows 2000， Windo...
分类：
系统相关 时间：
2014-05-07 07:02:02
阅读次数：
802
eshell是emacs shell的简称,是emacs自带的shell.开始设置的时候还在想是否要找到它的key map (eshell-mode-map?).
原来它是采用hook设置,如下所示
(add-hook 'eshell-mode-hook
(lambda ()
(local-set-key (kbd "C-j") 'switch-to...
分类：
其他好文 时间：
2014-05-07 05:25:39
阅读次数：
253
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
创建基于Arduino自动化系统的过程，一般解决处理问题需要大量时间。Arduino Manager 是一个app，可在iPhone和iPad上使用，用它来控制你的Arduino板，并可通过以太网、WiFi及BLE 来获取信息。...
分类：
移动开发 时间：
2014-05-07 04:47:53
阅读次数：
400
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
Java在java.math包中提供的API类BigDecimal，用来对超过16位有效位的数进行精确的运算。双精度浮点型变量double可以处理16位有效数。在实际应用中，需要对更大或者更小的数进行运算和处理。float和double只能用来做科学计算或者是工程计算，在商业计算中要用java.math.BigDecimal。BigDecimal所创建的是对象，我们不能使用传统的+、-、*、/等算...
分类：
其他好文 时间：
2014-05-06 19:23:46
阅读次数：
288
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
