每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你? 如果想批处理流量数据，并将其导入HDFS或使用Spark Streaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLL ...
分类：
其他好文 时间：
2018-06-05 21:14:37
阅读次数：
157
Structured Streaming最主要的生产环境应用场景就是配合kafka做实时处理，不过在Strucured Streaming中kafka的版本要求相对搞一些，只支持0.10及以上的版本。就在前一个月，我们才从0.9升级到0.10，终于可以尝试structured streaming的很 ...
分类：
其他好文 时间：
2018-06-05 20:05:26
阅读次数：
367
1. 综述 HLS（HTTP Live Streaming） 把整个流分成一个个小的基于 HTTP 的文件来下载，每次只下载一些。HLS 协议由三部分组成：HTTP、M3U8、TS。这三部分中，HTTP 是传输协议，M3U8 是索引文件，TS 是音视频的媒体信息。 关于 HLS 的详细介绍可参考： ...
分类：
其他好文 时间：
2018-06-04 23:25:00
阅读次数：
308
上篇了解了一些基本的Structured Streaming的概念，知道了Structured Streaming其实是一个无下界的无限递增的DataFrame。基于这个DataFrame，我们可以做一些基本的select、map、filter操作，也可以做一些复杂的join和统计。本篇就着重介绍下 ...
分类：
其他好文 时间：
2018-06-04 21:38:16
阅读次数：
342
近年来，大数据的计算引擎越来越受到关注，spark作为最受欢迎的大数据计算框架，也在不断的学习和完善中。在Spark2.x中，新开放了一个基于DataFrame的无下限的流式处理组件——Structured Streaming，它也是本系列的主角，废话不多说，进入正题吧！ 简单介绍 在有过1.6的s ...
分类：
其他好文 时间：
2018-06-02 17:10:16
阅读次数：
757
由于公司网站需要放置视频，但是默认的服务器环境是没有编译这个支持的模块，视频文件只能缓冲完了在播放，非常麻烦。 之前呢也安装了一个nginx_mod_h264_streaming来支持，效果很不错，但是服务器最近系统更新后出了点问题，只好从新编译，今天在nginx官网看到了nginx在新版本中已经支 ...
分类：
其他好文 时间：
2018-06-01 15:38:12
阅读次数：
263
1.nginx支持flv和mp4格式播放 默认yum安装nginx centos7安装nginx时候应该是默认安装nginx_mod_h264_streaming模块的 # nginx -V查看是否安装nginx_mod_h264_streaming模块 nginx在新版本中已经支持了--with- ...
分类：
Web程序 时间：
2018-06-01 15:33:12
阅读次数：
572
An ingest pattern that we commonly see being adopted at Cloudera customers is Apache Spark Streaming applications which read data from Kafka. Streamin ...
分类：
Web程序 时间：
2018-05-30 21:15:06
阅读次数：
220
本节是继上一章节 Hello world 的进一步深入挖掘; grpc 服务接口类型 在godoc的网站上对grpc的端口类型进行了简单的介绍，总共有下面4种类型[1]： 上面是从官网摘抄过来的，简单的来讲客户端和服务发送数据有两种形式：Unary和Streaming。Unary （一元）一次只发送 ...
分类：
其他好文 时间：
2018-05-30 21:08:30
阅读次数：
608
https://ci.apache.org/projects/flink/flink-docs-release-1.1/apis/streaming/savepoints.html https://info.lightbend.com/rs/558-NCX-702/images/preview-ap ...
分类：
其他好文 时间：
2018-05-27 19:01:46
阅读次数：
166
