一、梗概 即时处理流式数据； Spark Streaming 使用 离散化流(discretized stream) DStream作为抽象表示； DStream是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为RDD存在，而DStream是由这些 RDD所组成的序列 (因此 得名 ...
分类：
其他好文 时间：
2017-07-03 10:12:00
阅读次数：
229
1.Spark Streaming 代码分析： 1.1 演示样例代码DEMO： 实时计算的WorldCount： import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streami ...
分类：
其他好文 时间：
2017-07-02 22:19:50
阅读次数：
424
什么是HLS协议： HLS（Http Live Streaming）是由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容包括两部分，一是M3U8描述文件，二是TS媒体文件。 HLS协议应用： 由于传输层协议只需要标准的 HTTP 协议, HLS 可以方便的透过防火墙或者 ...
分类：
其他好文 时间：
2017-06-29 19:17:23
阅读次数：
315
伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来， ...
分类：
其他好文 时间：
2017-06-27 10:02:46
阅读次数：
157
目前，国内主流的直播协议有HLS、RTMP、HTTP FLV，适用于不同的直播场景。 一、HLS、RTMP与HTTP FLV 1.HLS HLS 全称是 HTTP Live Streaming, 是一个由 Apple 公司实现的基于 HTTP 的媒体流传输协议. 它跟 DASH 协议的原理非常类似. ...
分类：
Web程序 时间：
2017-06-26 17:10:24
阅读次数：
184
泰发TF680 视频传输芯片代理:1:TF680 Software-TX AV Streaming --将PC的桌面或扩展画面通过网线（或WIFI）传到TV端显示； --音视频信号经过压缩处理，保证信号传输的流畅性； --以标准的TCP/IP协议传输，抗干扰能力强； --最高分辨率支持 1080p全 ...
分类：
其他好文 时间：
2017-06-24 18:24:52
阅读次数：
155
报错： 因为代码中设置了local directory： 需要设置成HDFS directory。 【参考】：http://45.55.83.242:4000/blog/2016/02/22/note-Some-Spark-issues-and-solutions/ ...
分类：
其他好文 时间：
2017-06-24 13:55:33
阅读次数：
261
Structured Streaming 之窗口事件时间聚合操作Spark Streaming 中 Exactly Once 指的是：每条数据从输入源传递到 Spark 应用程序 Exactly Once每条数据只会分到 Exactly Once batch 处理输出端文件系统保证幂等关系Struc... ...
分类：
其他好文 时间：
2017-06-23 16:52:16
阅读次数：
450
Dataflow编程模型和spark streaming结合 主要介绍一下Dataflow编程模型的基本思想，后面再简单比较一下Spark streaming的编程模型 == 是什么 == 为用户提供以流式或批量模式处理海量数据的能力，该服务的编程接口模型（或者说计算框架）也就是下面要讨论的data ...
分类：
其他好文 时间：
2017-06-21 23:09:04
阅读次数：
367
参考http://blog.csdn.net/baidu_zhongce/article/details/49210787 hadoop用于对key的排序和分桶的设置选项比较多，在公司中主要以KeyFieldBasePartitioner和KeyFieldBaseComparator被hadoop用 ...
分类：
编程语言 时间：
2017-06-16 10:12:12
阅读次数：
130
