Spark Streaming Programming Guide
OverviewA Quick ExampleBasic Concepts
LinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreamsTransformations on DStreamsOutput Operatio...
分类：
其他好文 时间：
2014-09-15 12:57:19
阅读次数：
340
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类：
其他好文 时间：
2014-09-12 11:26:13
阅读次数：
279
HTTP应用流媒体分析
严格意义上，基于HTTP的VOD不算是真的流媒体，英文称为“progressive downloading”或者“pseudo streaming”，为什么这样呢？因为HTTP缺乏流媒体基本的流控，由此基于HTTP协议很难实现媒体播放的快进，快退，暂停。那么，通常的媒体播放器又是如何利用HTTP来实现这样的功能呢？
我们都知道，不管媒体文件有多大，HTT...
分类：
其他好文 时间：
2014-09-12 10:18:03
阅读次数：
199
spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ...
分类：
其他好文 时间：
2014-09-10 17:29:50
阅读次数：
219
Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。本节描述了Spark Streaming作业的执行流程。图1 Spark Streaming作业的执行流程具体流程：客户端提交作业后启...
分类：
其他好文 时间：
2014-08-30 13:52:19
阅读次数：
292
OPTIONS rtsp://192.168.1.154:8557/h264 RTSP/1.0CSeq: 1User-Agent: VLC media player (LIVE555 Streaming Media v2010.05.28)RTSP/1.0 200 OKCSeq: 1Date: Sa...
分类：
其他好文 时间：
2014-08-29 12:41:17
阅读次数：
240
參照 http://tools.ietf.org/html/draft-pantos-http-live-streaming-08， 能够对M3U8有比較系统的认识。 HLS(HTTP Live Streaming)是苹果公司针对iPhone、iPod、iTouch和iPad等移动设备而开发的基.....
分类：
其他好文 时间：
2014-08-27 20:07:58
阅读次数：
192
1.Spark Streaming 代码分析：
1.1 示例代码DEMO：
实时计算的WorldCount：
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org....
分类：
其他好文 时间：
2014-08-24 00:24:21
阅读次数：
615
原理：Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。Mapper和Reducer都是可执行文件，它们从标准输入读入数据（一行一行读）， 并把计算结果发给标准输出。Streaming工具会创建一个Map/Re...
分类：
其他好文 时间：
2014-08-20 16:16:52
阅读次数：
234
Chrome 截获 流媒体
现在虽然有相关扩展程序 但并不能通杀 很多针对的是YouTube或一些国外网络电台。
你可以进入https://chrome.google.com/extensions?hl=zh-CN 搜索关键字 FLV link 或 Streaming Media 我亲测 都不支持优酷 其他在线听歌网站未测试。当然，可以手动让别的网站帮你找地址，http://w...
分类：
Web程序 时间：
2014-08-18 22:05:03
阅读次数：
1019
