Flink的Fault Tolerance，是在在Chandy Lamport Algorithm的基础上扩展实现了一套分布式Checkpointing机制，这个机制在论文"Lightweight Asynchronous Snapshots for Distributed Dataflows"中进 ...
分类：
其他好文 时间：
2018-03-28 23:57:57
阅读次数：
933
Flink的数据流图的生成主要分为简单执行计划-->StreamGraph的生成-->JobGraph的生成-->ExecutionGraph的生成-->物理执行图。其中前三个(ExecutionGraph的之前都是在client上生成的)。ExectuionGraph是JobGraph的并行版本， ...
分类：
其他好文 时间：
2018-03-26 21:32:41
阅读次数：
504
从storm到spark streaming，再到flink，流式计算得到长足发展， 依托于spark平台的spark streaming走出了一条自己的路，其借鉴了spark批处理架构，通过批处理方式实现了实时处理框架。为进一步了解spark streaming的相关内容，飞马网于3月20日晚邀请到历任百度大数据的高级工程师—王富平，在线上直播中，王老师针对spark streaming高级特性
分类：
其他好文 时间：
2018-03-21 21:14:25
阅读次数：
228
以Flink源码中自带的WordCount为例，执行的入口从用户程序的execute()函数入手，execute()的源码如下： 函数内部主要有getStreamGraph()、getJobGraph()、exec.start()、exec.submitJobAndWait()等。getStream ...
分类：
其他好文 时间：
2018-03-17 19:42:05
阅读次数：
357
1、Flink架构 Flink系统的架构与Spark类似，是一个基于Master-Slave风格的架构，如下图所示： Flink集群启动时，会启动一个JobManager进程、至少一个TaskManager进程。在Local模式下，会在同一个JVM内部启动一个JobManager进程和TaskMan ...
分类：
其他好文 时间：
2018-03-17 17:51:48
阅读次数：
1868
Flink简介 Flink组件栈 Flink特性 流处理特性 API支持 Libraries支持 整合支持 Flink概念 Stream、Transformation、Operator Parallel Dataflow Task、Operator Chain Window Time Flink架构 ...
分类：
其他好文 时间：
2018-03-17 16:15:41
阅读次数：
175
随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模并行处理技术应用到流式处理中来，极大地改善了以前的流式处理框架所存在的问题。飞马网于3月13日晚，邀请
分类：
其他好文 时间：
2018-03-16 17:18:16
阅读次数：
129
Apache Flink 的分布式运行时 Tasks 和 Operator Chains 分布式执行时，Flink 可以将算子子任务链接成任务，每个任务由一个线程执行，这种链接是一种有效的优化，规避了线程切换和缓冲的开销，在降低延时的前提下提高了整体吞吐量，链接行为是可以被配置的 Job Manag ...
分类：
Web程序 时间：
2018-03-05 13:42:23
阅读次数：
217
Apache Flink：十分可靠，一分不差 Apache Flink 的提出背景 我们先从较高的抽象层次上总结当前数据处理方面主要遇到的数据集类型（types of datasets）以及在处理数据时可供选择的处理模型（execution models），这两者经常被混淆，但实际上是不同的概念 数 ...
分类：
Web程序 时间：
2018-03-04 18:06:44
阅读次数：
306
SIDDHI是一款功能强大的CEP引擎，具有自己的DSL,丰富的模式匹配功能和可扩展性,感谢陈浩同学提供了SIDDHI和FLINK的整合功能https://github.com/haoch/flink-siddhi本文主要介绍了这个ADDON的一些实现思路将FLINKSTREAM转化为SIDDHISTREAM定义用法：SiddhiCEP.registerStream(streamName,Flin
分类：
其他好文 时间：
2018-02-25 11:11:12
阅读次数：
447
