依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
DStream
如果要用一句话来概括Spark Streaming的处理思路的话，那就是"将连续的数据持久化，离散化，然后进行批量处理"。
让我们来仔细分析一下这么作的原因。
数据持久化 将从网络上接收到的数据先暂时存储下来，为事件处理出错时的事件重演提供可能，
离散化 数据源源不断的涌进，永远没有一个尽头，就像周星驰的喜剧中所说“崇拜之情如黄河之水绵绵不绝，一发而不可收拾...
分类：
其他好文 时间：
2015-06-16 19:17:52
阅读次数：
275
在spark streaming的文档里，有这么一段：def sendPartition(iter): # ConnectionPool is a static, lazily initialized pool of connections connection = Connection...
分类：
其他好文 时间：
2015-06-16 09:15:13
阅读次数：
116
http://spark.apache.org/docs/1.2.1/streaming-programming-guide.html在SparkStreaming中如何对数据进行分片Level of Parallelism in Data ProcessingCluster resources c...
分类：
其他好文 时间：
2015-06-14 22:43:24
阅读次数：
211
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapRedu...
分类：
Web程序 时间：
2015-06-10 19:32:12
阅读次数：
130
Storm风暴和Spark Streaming都是分布式流处理的开源框架。区别如下：
1、处理延时和吞吐量
Storm处理的是每次传入的一个事件，Spark Streaming是处理某个时间段窗口内的事件流，Storm处理一个事件可以达到秒内的延迟，而Spark Streaming则有几秒钟的延迟。因此，Spark Streaming比Storm的延时更长，但是吞吐量比Storm大。
...
分类：
其他好文 时间：
2015-06-08 23:25:42
阅读次数：
188
MapReduce对外提供一个多语言编写MR的功能，就是Hadoop Streaming。我们可以通过自己喜欢的语言来编写Mapper和Reducer函数，运行MapReduce job。本文给出利用Bash script来编写mapreduce 的示例...
分类：
其他好文 时间：
2015-06-07 15:52:53
阅读次数：
140
简介
主页: http://dss.macosforge.org/
Darwin Streaming Server (DSS) is an open sourceproject intended for developers who need to stream QuickTime and MPEG-4 mediaon alternative platforms such as Mac, ...
实时流协议RTSP
RTSP[[[] Schulzrinne，H., Rao.Real time streaming protocol (RTSP) RFC 2326[J]. IETF .1998]]由RealNetworks、Netscape Communications和哥伦比亚大学共同开发而成。1998年5月，IETF作为建议标准发布。RTSP是从HTTP协议框架上继承而来，拥有着HTT...
分类：
其他好文 时间：
2015-06-07 09:42:54
阅读次数：
1120
Jackson可以轻松的将Java对象转换成json对象和xml文档，同样也可以将json、xml转换成Java对象。Jackson 2.x版提供了三个JAR包供下载：1. Core库：streaming parser/generator，即流式的解析器和生成器。下载：http://repo1.ma...
分类：
其他好文 时间：
2015-06-04 19:02:50
阅读次数：
143
