这篇文章我已经看过两遍了。收获颇多,抽个时间翻译下,先贴个原文链接吧。也给自己留个任务 http://blog.cloudera.com/blog/2015/03/exactly-once-spark-streaming-from-apache-kafka/ 这篇文章我已经看过两遍了。收获颇多,抽个 ...
分类:
Web程序 时间:
2017-07-20 15:12:20
阅读次数:
169
题记 眼下我们对大数据进行研究方向以Spark为主,当中Spark Streaming是能够接收动态数据流并进行处理。那么Spark Streaming支持多源的数据发送端,比如TCP、ZeroMQ、自然也包含Kafka,并且Kafka+SparkStreaming的技术融合也比較经常使用并且成熟, ...
分类:
其他好文 时间:
2017-07-20 10:25:55
阅读次数:
304
1、创建Maven项目 创建的过程参考:http://blog.csdn.net/tototuzuoquan/article/details/74571374 2、启动Kafka A:安装kafka集群:http://blog.csdn.net/tototuzuoquan/article/detai ...
分类:
Web程序 时间:
2017-07-18 00:00:14
阅读次数:
370
Efficiently Streaming Large HTTP Responses With HttpClient Downloading large files with HttpClient and you see that it takes lots of memory space? Thi ...
一.什么是实时计算系统?(流式计算)1.离线计算和实时计算 离线计算 实时计算(流式计算) 典型代表 mapReduce Apache Strom,Spark Streaming 和JStream 数据 HDFS上 实时数据 采集数据 Sqoop(批量导入) Flume进行采集 保存结果 HDFS ...
分类:
Web程序 时间:
2017-07-15 10:04:17
阅读次数:
253
1 RTSP RTSP (Real Time Streaming Protocol),是一种语法和操作类似 HTTP 协议,专门用于音频和视频的应用层协议。 和 HTTP 类似,RTSP 也使用 URL 地址。 海康网络摄像头的 RTSP URL 格式如下: 大华网络摄像头的 RTSP URL 格式 ...
分类:
其他好文 时间:
2017-07-12 12:15:15
阅读次数:
202
本篇作为学习Android流媒体的先导,先介绍以下四种协议:RTSP,HTTP,HTTPS和SDP。 1.RTSP协议 1)简介 RTSP(Real Time Streaming Protocol),RFC2326,实时流传输协议,是TCP/IP协议体系中的一个应用层协议,该协议定义了一对多应用程序 ...
分类:
其他好文 时间:
2017-07-10 22:12:55
阅读次数:
800
前端组件库 搭建web app常用的样式/组件等收集列表(移动优先) 0. 前端自动化(Workflow) 前端构建工具 Yeoman – a set of tools for automating development workflow gulp – The streaming build sy ...
分类:
其他好文 时间:
2017-07-07 21:23:11
阅读次数:
272
本文转载自:《hls之m3u8、ts流格式详解》 HLS,Http Live Streaming 是由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现,传输内容包括两部分,一是M3U8描述文件,二是TS媒体文件。 1、M3U8文件 用文本方式对媒体文件进行描述,由一系列标签组成。 ...
分类:
其他好文 时间:
2017-07-06 20:40:18
阅读次数:
2835
本文将展示 1、如何使用spark-streaming接入TCP数据并进行过滤; 2、如何使用spark-streaming接入TCP数据并进行wordcount; 内容如下: 1、使用maven,先解决pom依赖 1、接收TCP数据并过滤,打印含有error的行 执行方法 2、接收Kafka数据并 ...
分类:
编程语言 时间:
2017-07-04 14:55:17
阅读次数:
658