在spark streaming的文档里，有这么一段：def sendPartition(iter): # ConnectionPool is a static, lazily initialized pool of connections connection = Connection...
分类：
其他好文 时间：
2015-06-16 09:15:13
阅读次数：
116
http://spark.apache.org/docs/1.2.1/streaming-programming-guide.html在SparkStreaming中如何对数据进行分片Level of Parallelism in Data ProcessingCluster resources c...
分类：
其他好文 时间：
2015-06-14 22:43:24
阅读次数：
211
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapRedu...
分类：
Web程序 时间：
2015-06-10 19:32:12
阅读次数：
130
Storm风暴和Spark Streaming都是分布式流处理的开源框架。区别如下：
1、处理延时和吞吐量
Storm处理的是每次传入的一个事件，Spark Streaming是处理某个时间段窗口内的事件流，Storm处理一个事件可以达到秒内的延迟，而Spark Streaming则有几秒钟的延迟。因此，Spark Streaming比Storm的延时更长，但是吞吐量比Storm大。
...
分类：
其他好文 时间：
2015-06-08 23:25:42
阅读次数：
188
MapReduce对外提供一个多语言编写MR的功能，就是Hadoop Streaming。我们可以通过自己喜欢的语言来编写Mapper和Reducer函数，运行MapReduce job。本文给出利用Bash script来编写mapreduce 的示例...
分类：
其他好文 时间：
2015-06-07 15:52:53
阅读次数：
140
简介
主页: http://dss.macosforge.org/
Darwin Streaming Server (DSS) is an open sourceproject intended for developers who need to stream QuickTime and MPEG-4 mediaon alternative platforms such as Mac, ...
实时流协议RTSP
RTSP[[[] Schulzrinne，H., Rao.Real time streaming protocol (RTSP) RFC 2326[J]. IETF .1998]]由RealNetworks、Netscape Communications和哥伦比亚大学共同开发而成。1998年5月，IETF作为建议标准发布。RTSP是从HTTP协议框架上继承而来，拥有着HTT...
分类：
其他好文 时间：
2015-06-07 09:42:54
阅读次数：
1120
Jackson可以轻松的将Java对象转换成json对象和xml文档，同样也可以将json、xml转换成Java对象。Jackson 2.x版提供了三个JAR包供下载：1. Core库：streaming parser/generator，即流式的解析器和生成器。下载：http://repo1.ma...
分类：
其他好文 时间：
2015-06-04 19:02:50
阅读次数：
143
直接上代码吧说下测试思路：该代码监控的/tmp/sparkStream/目录；首先，创建该目录mkdir-p/tmp/sparkStream；然后，运行spark程序；最后，向监控目录/tmp/sparkStream/添加数据文件；观察spark程序运行效果。sparkStreaming
importorg.apache.log4j.{LoggerLevel}
importorg.a..
分类：
其他好文 时间：
2015-05-31 18:46:23
阅读次数：
148
测试思路：首先，创建网络数据源数据发送器（程序一）；其次，创建spark接收数据程序（程序二）；接着，将程序一打包，放在服务器上执行。这里有三个参数分别是：所要发送的数据文件，通过哪个端口号发送，每隔多少毫秒发送一次数据；最后，运行spark程序，这里每隔5秒处理一次..
分类：
其他好文 时间：
2015-05-31 18:45:44
阅读次数：
194
