前言spark与hadoop的比较我就不多说了，除了对硬件的要求稍高，spark应该是完胜hadoop（Map/Reduce）的。storm与spark都可以用于流计算，但storm对应的场景是毫秒级的统计与计算，而spark（stream）对应的是秒级的。这是主要的差别。一般很少有对实时要求那么高...
分类：
其他好文 时间：
2015-02-13 16:09:25
阅读次数：
132
使用HTML5的VIDEO播放RTSP实时视频流源代码： Video Test 10: RTSP Streaming html5 video ▶ ◼ Volume Up Volume...
分类：
Web程序 时间：
2015-02-11 20:38:13
阅读次数：
194
Most assets in Unity are combined into the project when it is built. However, it is sometimes useful to place files into the normal filesystem on the ...
分类：
其他好文 时间：
2015-02-10 11:10:42
阅读次数：
254
AFSoundManageriOS audio playing (both local and streaming) and recording made easy through a complete and block-driven Objective-C class. AFSoundManag...
分类：
其他好文 时间：
2015-02-06 23:08:40
阅读次数：
294
BlockGenerator和RateLimiter其实很简单，但是它包含了几个很重要的属性配置的处理，所以记录一下。/** * Generates batches of objects received by a * [[org.apache.spark.streaming.receiver.Re...
分类：
其他好文 时间：
2015-02-05 20:03:14
阅读次数：
148
InputDStream的继承关系。他们都是使用InputDStream这个抽象类的接口进行操作的。特别注意ReceiverInputDStream这个类，大部分时候我们使用的是它作为扩展的基类，因为它才能（更容易）使接收数据的工作分散到各个worker上执行，更符合分布式计算的理念。所有的输入流都...
分类：
其他好文 时间：
2015-02-05 17:56:10
阅读次数：
205
对于spark streaming来说，receiver是数据的源头。spark streaming的框架上，将receiver替换spark-core的以磁盘为数据源的做法，但是数据源（如监听某个tcp链接）显然不是可靠且不知道数据什么时候准备好的，所以spark streaming使用shuff...
分类：
其他好文 时间：
2015-02-05 14:58:43
阅读次数：
184
DStream是类似于RDD概念，是对数据的抽象封装。它是一序列的RDD，事实上，它大部分的操作都是对RDD支持的操作的封装，不同的是，每次DStream都要遍历它内部所有的RDD执行这些操作。它可以由StreamingContext通过流数据产生或者其他DStream使用map方法产生（与RDD一...
分类：
其他好文 时间：
2015-02-05 14:56:02
阅读次数：
260
StreamingContext 和SparkContex的用途是差不多的，作为spark stream的入口，提供配置、生成DStream等功能。总体来看，spark stream包括如下模块：/** * Main entry point for Spark Streaming functiona...
分类：
其他好文 时间：
2015-02-05 14:54:10
阅读次数：
293
DStreamGraph有点像简洁版的DAG scheduler，负责根据某个时间间隔生成一序列JobSet，以及按照依赖关系序列化。这个类的inputStream和outputStream是最重要的属性。spark stream将动态的输入流与对流的处理通过一个shuffle来连接。前面的（shu...
分类：
其他好文 时间：
2015-02-05 14:53:13
阅读次数：
302
