开宗明义！本文根据Google Beam大神Tyler Akidau的系列文章《The world beyond batch: Streaming 101》(批处理之外的流式世界)整理而成， 主要讨论流式数据处理。在大数据领域，流式数据处理越发地重要了。原因有以下几点： 人们越来越想要得到更及时的数 ...
分类：
其他好文 时间：
2017-05-22 09:59:24
阅读次数：
341
1.怎么理解spark streaming中的dstream? 它是spark streaming的基础数据结构,代表着(time,RDD)序列,有两种生成方式,一种是基于流数据创建(kafka,socket...),一种是基于已有的dstream进行转换产生.在spark streaming作业运 ...
分类：
其他好文 时间：
2017-05-20 13:16:41
阅读次数：
207
Intro 这篇是对一个Spark (Streaming)作业的log进行分析。用来加深对Spark application运行过程，优化空间的各种理解。 Here to Start 从我这个初学者写得一个Spark Streaming程序开始... package com.wttttt.spark ...
分类：
其他好文 时间：
2017-05-20 12:25:51
阅读次数：
1088
写在前面 因为本地电脑没装flume，nginx各种。所以之前写Streaming程序的时候，都是打包了放到集群上跑。就算我在程序代码里不停地logger，调试起来也hin不方便。 于是本地写了两个程序，在intellj调试。 主要就是包括两个程序： 一个是GenerateChar.scala用来向 ...
分类：
其他好文 时间：
2017-05-20 11:14:28
阅读次数：
209
DOM 解析器完整的读入XML文档，然后将其转换成一个树型的数据结构，对于大多数应用，DOM 都运行很好，但是，如果文档很大，并且处理算法又非常简单，可以在运行时解析节点，而不必看到完整的树形结构，那么我们应该使用流机制解析器（streaming parser），Java 类库提供的流解析机制有 S... ...
分类：
其他好文 时间：
2017-05-19 00:06:29
阅读次数：
311
安卓支持的协议 RTSP (RTP, SDP)HTTP/HTTPS progressive streamingDynamic adaptive streaming on HTTP => MPEG DASHHTTP/HTTPS live streaming => VLS (m3u, m3u8) 不支持 ...
分类：
移动开发 时间：
2017-05-18 22:15:15
阅读次数：
285
老板提了一个需求，想让网页上播放景区监控的画面，估计是想让游客达到未临其地，已知其境的状态吧。 说这个之前，还是先说一下什么是rtsp协议吧。 RTSP（Real Time Streaming Protocol），实时流传输协议，是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和Rea ...
分类：
其他好文 时间：
2017-05-18 13:32:16
阅读次数：
166
RTSP协议也是广泛使用的直播/点播流媒体协议，之前实现过一个通过live555接收RTSP协议，然后转换为HLS(Http Live Streaming)直播协议文件的程序，为的是可以接收远端设备或服务器的多路RTSP直播数据，实时转换为HLS协议文件，以实现iPhone或iPad等设备观看RTS... ...
分类：
移动开发 时间：
2017-05-17 12:09:50
阅读次数：
503
带状态的更新是使用的updateStateByKey方法，里面传入一个函数，函数要自己写，注意需要设置checkpoint ...
分类：
其他好文 时间：
2017-05-16 14:58:39
阅读次数：
159
转自：http://www.cnblogs.com/yurunmiao/p/5195754.html 目前平台使用Kafka + Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由Spark Streaming进行流式计算；另一部分数据则经由Flume存储至HDF ...
分类：
Web程序 时间：
2017-05-14 15:26:39
阅读次数：
365
