基本概念 首先，我针对的代码是Darwin Streaming Server 6.0.3未经任何改动的版本。 Darwin Streaming Server从设计模式上看，采用了Reactor的并发服务器设计模式，如果对Reactor有一定的了解会有助于对Darwin St...
从官方的Programming Guides中看到的我理解streaming中的checkpoint有两种，一种指的是metadata的checkpoint，用于恢复你的streaming；一种是rdd的checkpoint的；下面的代码指的是第一种：// Function to create an...
分类：
其他好文 时间：
2015-05-14 09:55:54
阅读次数：
130
在这里看到的解决方法https://issues.apache.org/jira/browse/SPARK-1729请是个人理解，有问题请大家留言。其实本身flume是不支持像KAFKA一样的发布/订阅功能的，也就是说无法让spark去flume拉取数据，所以老外就想了个取巧的办法。在flume中其...
分类：
Web程序 时间：
2015-05-13 16:04:15
阅读次数：
266
有两种方式，一种是sparkstreaming中的driver起监听，flume来推数据；另一种是sparkstreaming按照时间策略轮训的向flume拉数据。最开始我以为只有第一种方法，但是尼玛问题在于driver起来的结点是没谱的，所以每次我重启streaming后发现尼玛每次都要修改flu...
分类：
Web程序 时间：
2015-05-13 12:23:56
阅读次数：
207
AWStats是一个免费、功能强大、特性丰富的日志分析工具，它能分析由WEB、STREAMING、FTP、MAIL等服务生成的日志，并生成先进的统计图表。AWStats作为CGI或从命令行运行，在数个图形网页中显示你日志中包含的所有可能信息。它利用一部分档案资料就能经常很快地处理大量日志档案..
分类：
其他好文 时间：
2015-05-13 06:28:15
阅读次数：
177
Normally, RTSP provide streaming over UDP. By nature, UDP is a better choice as it provides robust streaming capability for media. However, it is unli...
分类：
其他好文 时间：
2015-05-07 00:40:26
阅读次数：
178
分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发...
分类：
其他好文 时间：
2015-05-06 14:51:36
阅读次数：
174
0. 前端自动化前端构建工具gulp - The streaming build systemgrunt - the JavaScript Task Runner前端模块管理器Bower - A package manager for the webBrowserifyComponentDuoReq...
分类：
其他好文 时间：
2015-05-05 10:23:41
阅读次数：
195
参考：1,linux下搭建生成HLS所需的.ts和.m3u8文件http://www.cnblogs.com/mystory/archive/2013/04/07/3006200.html2,iPhone HTTP Streaming with FFMpeg and an Open Source S...
分类：
其他好文 时间：
2015-05-04 21:56:06
阅读次数：
153
spark streaming 如果以local 模式运行，log日志非常清楚。
如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们往往错误都发生在executor里，比如典型的错误：如果我们连接hbase去存取数据的话，我们会在driver里初始化了连接，缺忽略的excutors里，导致程序出错...
分类：
其他好文 时间：
2015-04-29 13:38:51
阅读次数：
290
