先做一个对比： 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 ZooKeeper ...
分类：
其他好文 时间：
2018-09-10 11:02:27
阅读次数：
539
Spark Streaming是Spark核心API的扩展，可以实现可伸缩、高吞吐量、具备容错机制的实时流时数据的处理。支持多种数据源，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets。
??可以使用诸如map、reduce、join和window等高级函数进行复杂算法（比如，机器学习和图计算）的处理。最后还可以将处理结果存储到文件系统，数据库和仪表盘。本文主要内容有简介、架构与抽象、转化操作、行动操作。
分类：
其他好文 时间：
2018-09-10 00:59:24
阅读次数：
215
参考这篇文章： https://www.sohu.com/a/196257023_470008 我们当时的目标就是要设计一款低延迟、exactly once、流和批统一的，能够支撑足够大体量的复杂计算的引擎。 Spark streaming 的本质还是一款基于 microbatch 计算的引擎。这种 ...
分类：
其他好文 时间：
2018-09-06 21:02:13
阅读次数：
227
最近很多人问小编现在学习大数据这么多，他们都是如何学习的呢。很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？今天小编特意为大家整理了一份大数据从入门到精通的学习路线。并且附带学习资料和视频。希望能够帮助到大家。大数据学习资料分享群：11 ...
分类：
其他好文 时间：
2018-09-06 14:34:29
阅读次数：
201
1 背景 由于在项目中集成视频播放功能，集成已有的ocx控件涉及到浏览器的兼容性，网页体验不好，后经过查找，引入hls相关技术进行视频播放 2 HLS简介 维基百科的定义： HTTP Live Streaming（缩写是HLS）是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。是苹果公司Qui ...
分类：
其他好文 时间：
2018-09-05 17:42:53
阅读次数：
453
1、流计算SQL原理和架构 流计算SQL通常是一个类SQL的声明式语言，主要用于对流式数据(Streams)的持续性查询，目的是在常见流计算平台和框架（如Storm、Spark Streaming、Flink、Beam等）的底层API上， 通过使用简易通用的的SQL语言构建SQL抽象层，降低实时开发 ...
分类：
数据库 时间：
2018-09-05 11:41:23
阅读次数：
281
目录 1.Collecting data 1.1 Register Your App 1.2 Accessing the Data 1.3 Streaming 2.Text Pre-processing 2.1 The Anatomy of a Tweet 2.2 How to Tokenise a ...
分类：
编程语言 时间：
2018-09-03 13:41:18
阅读次数：
214
需求： 目前kafka的topic上有一批数据，这些数据被分配到9个不同的partition中（就是发布时key:{m1,m2,m3,m4...m9},value:{records items}），mx(m1,m2...m9)这些数据的唯一键值：int_id+start_time，其中int_id和 ...
分类：
其他好文 时间：
2018-08-29 01:18:08
阅读次数：
248
一般情况下我们在使用Dataset<Row>进行groupByKey时，你会发现这个方法最后一个参数需要一个encoder，那么这些encoder如何定义呢？ 一般数据类型 示例： Class类型： Tuple类型： 一般类型的Tuple Tuple包含类的： 关于Encoder请参考《http:/ ...
分类：
Web程序 时间：
2018-08-29 01:02:03
阅读次数：
240
Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。数据可以从许多来源（如Kafka，Flume，Kinesis或TCP套接字）中获取，并且可以使用以高级函数表示的复杂算法进行处理map，例如reduce，join和window。最后，处理后 ...
分类：
编程语言 时间：
2018-08-28 17:53:06
阅读次数：
207
