Darwin Streaming Server 是一个开放源代码的streaming server，对于streaming server的编程和软件结构有着一定的参考价值，它是使用C++写的，其中的并发模式的核心就是Task类，下面写一下我的理解:多任务的程序常常采用线程+同步阻塞IO的模式, 每个...
概述一个Spark的Job分为多个stage，最后一个stage会包含一个或多个ResultTask，前面的stages会包含一个或多个ShuffleMapTasks。ResultTask运行并将结果返回给driver application。ShuffleMapTask将task的output依据...
分类：
其他好文 时间：
2014-07-23 12:43:36
阅读次数：
376
王家林简介Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0...
分类：
移动开发 时间：
2014-07-22 23:29:47
阅读次数：
241
原创。一：编译Darwin6.0.3版本是最新版本，也提供了.dsw文件。但是使用vs2005和vc6是编译不过的。所以，采用Darwin5.5.5版本。使用vc6打开WinNTSupport文件夹下的.dsw工程，直接batch build，可一步生成。使用vc编译速度快，但是调试和看代码不如20...
string是最简单的类型，一个key对应一个value，string类型是二进制安全的。redis的string可以包含任何数据，比如JPG图片或者序列化的对象操作 set 设置key对应的值为string类型的value 例如： set name haoxing //设置key为那么value为...
分类：
其他好文 时间：
2014-07-22 22:39:55
阅读次数：
261
（英文部分为转的。代码是个人代码）
1 What’s inotify
The inotify API provides a mechanism for monitoring file system events. Inotify can be used to monitor individual files, or to monitor directories. When a direc...
分类：
系统相关 时间：
2014-07-22 22:39:53
阅读次数：
476
rtsp://192.168.1.120:554/snl/live/1/3OPTIONS rtsp://192.168.1.120:554/snl/live/1/3 RTSP/1.0 CSeq: 2 User-Agent: LibVLC/2.1.3 (LIVE555 Streaming Media ...
分类：
其他好文 时间：
2014-07-22 22:35:33
阅读次数：
459
1、Spark中采用依赖关系(Dependency)表示rdd之间的生成关系。Spark可利用Dependency计算出失效的RDD。在每个RDD中都存在一个依赖关系的列表
private var dependencies_ : Seq[Dependency[_]] = null
用以记录各rdd中各partition的parent partition。
2、Spark中存在两类Depe...
分类：
其他好文 时间：
2014-07-22 22:34:15
阅读次数：
264
本文详细介绍了Spark SQL的Catalyst里，Analyzer是如何Sql parser的解析的UnResolved逻辑计划，进行resolve的。...
分类：
数据库 时间：
2014-07-22 14:49:52
阅读次数：
396
本篇介绍一些Spring与其他框架结合的实用功能，包括：Apache CXF WebService框架、Redis缓存、RabbitMQ消息、MyBatis框架。
另外对于Profile，也是Spring3.0开始新加的功能，对于开发测试环境、和生产环境分别采用不同的配置，有一定用处。...
分类：
编程语言 时间：
2014-07-22 14:10:04
阅读次数：
449
