从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
下载在浏览器中打开如下网址http://www.igniterealtime.org/downloads/index.jsp，根据你的操作系统选择对应的版本进行下载，这里我是在mac下配置的，所以选择Mac版本的安装包，下载完成后在Finder中找到下载好的openfire_3_8_2.dmg文件。...
分类：
其他好文 时间：
2014-05-09 10:55:46
阅读次数：
329
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
一、准备工作： 1、下载release版spark
0.9.1，本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2，这个版本ide的支持scala 2.10版。
二、配置工作 1、在ide中新建scala项目，注意jre要用jdk1.7版的。如下图： 2...
分类：
系统相关 时间：
2014-05-09 03:27:34
阅读次数：
512
Task的执行过程分析
Task的执行通过Worker启动时生成的Executor实例进行，
caseRegisteredExecutor(sparkProperties)=>
logInfo("Successfullyregistered with driver")
//Make this host instead of hostPort ?
executor=
newExecuto...
分类：
其他好文 时间：
2014-05-08 16:01:31
阅读次数：
667
本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是Spark RDD的执行算子）的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job，而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤（方法和类）。...
分类：
其他好文 时间：
2014-05-08 04:00:42
阅读次数：
407
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
linux 下安装jdk及配置jdk环境
一：先检测是否已安装了JDK
执行命令：
# rpm -qa|grep jdk
或
# rpm -q jdk
或
#find / -name jdk*
/soft/openfire_java/jdk-7u40-linux-x64.rpm
/usr/java/jdk1.7.0_15
/usr/java/jdk1.7.0_...
分类：
系统相关 时间：
2014-05-07 05:06:00
阅读次数：
427
1.
参考http://blog.csdn.net/foxisme2/article/details/7521139http://blog.csdn.net/foxisme2/article/details/7528148其中生成测试报告的
命令 由于我本机tsung 的安装路径和上面资料的不同 需...
分类：
其他好文 时间：
2014-05-04 19:20:34
阅读次数：
570
目前OpenFire在Linux下有2种安装方式，网上对于第二种Linux安装方式下如何配置JVM内存（Memory）并没有描述：tar
-xzvf openfire_3_0_0.tar.gzmv openfire
/opt对于这种安装模式，我们需要修改/opt/openfire/bin/openf...
分类：
其他好文 时间：
2014-05-04 19:19:32
阅读次数：
421
