Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
一、准备工作： 1、下载release版spark
0.9.1，本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2，这个版本ide的支持scala 2.10版。
二、配置工作 1、在ide中新建scala项目，注意jre要用jdk1.7版的。如下图： 2...
分类：
系统相关 时间：
2014-05-09 03:27:34
阅读次数：
512
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
SSE技术简介Intel公司的单指令多数据流式扩展（SSE，Streaming SIMD
Extensions）技术能够有效增强CPU浮点运算的能力。Visual Studio .NET
2003提供了对SSE指令集的编程支持，从而允许用户在C++代码中不用编写汇编代码就可直接使用SSE指令的功能。...
分类：
其他好文 时间：
2014-05-08 17:33:10
阅读次数：
483
Task的执行过程分析
Task的执行通过Worker启动时生成的Executor实例进行，
caseRegisteredExecutor(sparkProperties)=>
logInfo("Successfullyregistered with driver")
//Make this host instead of hostPort ?
executor=
newExecuto...
分类：
其他好文 时间：
2014-05-08 16:01:31
阅读次数：
667
你的电脑需要和手机在同一个局域网内并且这个手机要通过wifii已正常连接.1、打开cmd，输入adb shell2、获取权限# su3、设置远程调试#
setprop service.adb.tcp.port 55554、重启adbd服务# stop adbd; start adbd5、重新打开一个...
分类：
移动开发 时间：
2014-05-08 13:17:56
阅读次数：
365
本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是Spark RDD的执行算子）的整体流程。
不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job，而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤（方法和类）。...
分类：
其他好文 时间：
2014-05-08 04:00:42
阅读次数：
407
/*
* Determine if a process group is "orphaned", according to the POSIX
* definition in 2.2.2.52. Orphaned process groups are not to be affected
* by terminal-generated stop signals. Newly orp...
分类：
其他好文 时间：
2014-05-07 16:23:22
阅读次数：
383
前面5个篇文章把EFI_DRIVER_BINDING_PROTOCOL这个protocol的一个实例(instance)AHCI driver的安装做了一个比较详细的介绍。其实这个driver到目前为止只干了一件事情，那就是把这个protocol安装到对应的ImageHandle上去。对于这个driver在BDS的怎么运行，原理上讲就是先调用supported()然后再调用start()，最后运行stop()来卸载driver。最近听了不少同事说去泰国旅游多么多么爽，后来了解了一下确实是不错的选择。恰好还欠...
分类：
移动开发 时间：
2014-05-07 11:48:59
阅读次数：
383
memcached64.exe -d install
安装服务
memcached64.exe -d start
启动服务
memcached64.exe -d stop
停止服务
memcached64.exe -d -m 64 -l localhost -p 11211...
分类：
其他好文 时间：
2014-05-07 11:44:29
阅读次数：
306
