Jackson supports read and write JSON via high-performance Jackson Streaming APIs, or incremental mode. Read this Jackson Streaming APIs document for d ...
本文来自Spark Streaming项目带头人 Tathagata Das的博客文章，他现在就职于Databricks公司。过去曾在UC Berkeley的AMPLab实验室进行大数据和Spark Streaming的研究工作。本文主要谈及了Spark Streaming容错的改进和零数据丢失。 ...
分类：
其他好文 时间：
2016-09-30 01:08:43
阅读次数：
189
来自： https://community.qingcloud.com/topic/344/spark-streaming使用kafka保证数据零丢失 spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件： 数据输入需要可靠的sources和可靠的recei ...
分类：
其他好文 时间：
2016-09-29 21:17:05
阅读次数：
120
根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类
Transformations
Window Operations
J...
分类：
其他好文 时间：
2016-09-23 09:52:40
阅读次数：
201
RTSP（Real Time Streaming Protocol），RFC2326，实时流传输协议，是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETF RFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系 ...
分类：
移动开发 时间：
2016-09-22 21:20:20
阅读次数：
203
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部..
分类：
其他好文 时间：
2016-09-22 01:23:41
阅读次数：
293
1.nginx支持flv和mp4格式播放默认yum安装nginxcentos7安装nginx时候应该是默认安装nginx_mod_h264_streaming模块的#nginx-V查看是否安装nginx_mod_h264_streaming模块nginx在新版本中已经支持了--with-http_mp4_module--with-http_flv_module这2个模块即可#vi/etc/nginx/nginx...
分类：
Web程序 时间：
2016-09-21 23:36:15
阅读次数：
179
在kafka 目录下执行生产消息命令： ./kafka-console-producer --broker-list nodexx:9092 --topic 201609 在spark bin 目录下执行 ...
分类：
其他好文 时间：
2016-09-21 15:55:27
阅读次数：
153
Spark Streaming Spark Streaming 是Spark为了用户实现流式计算的模型。 数据源包括Kafka,Flume,HDFS等。 DStream 离散化流(discretized stream), Spark Streaming 使用DStream作为抽象表示。是随时间推移而 ...
分类：
其他好文 时间：
2016-09-17 00:28:16
阅读次数：
229
Checkpointing 一个流应用程序必须全天候运行，所有必须能够解决应用程序逻辑无关的故障（如系统错误，JVM崩溃等）。为了使这成为可能，Spark Streaming需要checkpoint足够的信息到容错存储系统中， 以使系统从故障中恢复。 Metadata checkpointing：保 ...
分类：
Web程序 时间：
2016-09-01 21:23:28
阅读次数：
169
