DStreamGraph有点像简洁版的DAG scheduler，负责根据某个时间间隔生成一序列JobSet，以及按照依赖关系序列化。这个类的inputStream和outputStream是最重要的属性。spark stream将动态的输入流与对流的处理通过一个shuffle来连接。前面的（shu...
分类：
其他好文 时间：
2015-02-05 14:53:13
阅读次数：
302
场景：使用Spark Streaming接收Kafka发送过来的数据与关系型数据库中的表进行相关的查询操作；Kafka发送过来的数据格式为：id、name、cityId，分隔符为tab1 zhangsan 12 lisi 13 wangwu ...
分类：
数据库 时间：
2015-02-02 10:48:27
阅读次数：
169
数据预处理章节，整理于《数据挖掘·概念与技术》第三章，如有错误，请指正，谢谢~1、概述 数据清理可以去除数据中的噪声，纠正不一致。数据集成将数据由多个数据源合并成一个一致的数据进行存储，如数据仓库。数据规约可以通过如聚集，删除冗余特征或聚类降低数据的规模。数据变换（如规约化）可以把数据压缩到较小的....
分类：
其他好文 时间：
2015-01-31 15:59:47
阅读次数：
238
Flash视频传送架构Flash 可以提供三种完全不同的视频传送机制：渐进式下载（progressive download）、流式传输（streaming）和HTTP流式传输（HTTP streaming）。 我将利用少许代码片段简单地说明所有上述三种传送机制。如果你使用视频播放器应用程序，则这些底...
分类：
其他好文 时间：
2015-01-31 14:31:34
阅读次数：
206
第二部分
1、昨天已经把网络摄像机的rtsp视频流成功利用FFmpeg和Nginx转换成rtmp流推送到了nginx视频服务器上面，并且通过vlc可以观看到直播视频。
今天继续昨天的工作，将rtsp的视频流推送到Nginx上面，客户端根据hls协议使用http在网页进行观看（推送的仍然是rtmp视频流），关于hls，先给一小段简单介绍：
HTTP Live Streaming（HLS）是苹果...
分类：
其他好文 时间：
2015-01-28 16:06:35
阅读次数：
1355
AudioTrack 在Java应用中，管理和播放一个单一的语音资源The AudioTrack class manages and plays a single audio resource for Java applications.* It allows streaming of PCM au...
分类：
其他好文 时间：
2015-01-27 21:32:58
阅读次数：
243
场景：使用Spark Streaming接收实时数据与关系型数据库中的表进行相关的查询操作；使用技术：Spark Streaming + Spark JDBC External DataSources代码雏形：package com.luogankun.spark.streamingimport o...
分类：
数据库 时间：
2015-01-26 15:03:00
阅读次数：
275
上一篇里说到，有两点对CUDA的计算能力影响甚大：数据并行，以及用多线程掩盖延迟。接下来我们要深入到其硬件实现，看一看这些机制是如何运作的。
通常人们经常说某GPU有几百甚至数千的CUDA核心，这很容易让人联想到多核CPU。不过事实上两种“核心”是不一样的概念，GPU的CUDA核心只相当于处理器中的执行单元，负责执行指令进行运算，并不包含控制单元。可以类比到CPU核心的是流多处理器（Streaming Multiprocessor，简写为SM. Kepler中叫做SMX，Maxwell中叫做SMM），通常...
分类：
其他好文 时间：
2015-01-21 20:14:34
阅读次数：
302
用HTTP协议传输媒体文件可以分两个阶段，第一个阶段是Progressive Download（渐进式下载方式）阶段，第二个阶段是HTTP streaming(HTTP流化）阶段。其中，第一个阶段可以看成第二个阶段的前身。Progressive Download 渐进式下载是一种顺序流式传输，它是....
分类：
Web程序 时间：
2015-01-20 23:31:30
阅读次数：
310
实验环境：Ubuntu。
参考以下两个链接进行实践：
http://segmentfault.com/blog/xingrz/1190000000392586
http://phoboslab.org/log/2013/09/html5-live-video-streaming-via-websockets
这个解决方案是通过一个MPEG流转发服务器来实现的，该转发...
分类：
Web程序 时间：
2015-01-19 20:58:39
阅读次数：
234
