State Backends 本文翻译自文档Streaming Guide / Fault Tolerance / StateBackend 使用Data Stream API编写的程序通常以多种形式维护状态: · 窗口将收集element或在它被触发后聚合element · Transformat ...
分类:
编程语言 时间:
2016-08-19 00:47:51
阅读次数:
632
容错(Fault Tolerance) 本文翻译自StreamGuide的Fault Tolerance Flink的容错机制会在错误出现时恢复程序并继续执行,这些容错机制包括设备硬件失效、网络失效、临时程序失效等等。 一、流容错 Flink使用检查点机制来在流Job失效后对其进行恢复。该检查点机制 ...
分类:
编程语言 时间:
2016-08-16 20:11:40
阅读次数:
234
窗口(Window) 本文翻译自文档Windows Flink使用窗口的概念,根据element的时间戳或者其他指标,将可能无限的DataStream分割为有限的数据切片(slice)。我们在处理无限数据流以及进行聚合element的transformation时需要此种窗口分割。 注意:我们在此文 ...
分类:
编程语言 时间:
2016-08-16 01:52:15
阅读次数:
330
读accumlator JobManager 在job finish的时候会汇总accumulator的值, newJobStatus match { case JobStatus.FINISHED => try { val accumulatorResults = executionGraph.g... ...
分类:
其他好文 时间:
2016-08-10 19:17:21
阅读次数:
203
dedecms友情链接首页不显示LOGO图片处理方法如下: 进入后台--系统设置 默认模板管理,找到主页模块 index.htm,点修改, 把下面代码: <strong>友情链接</strong> <span class="more"> <a href="plus/flink.php">所有链接</ ...
分类:
其他好文 时间:
2016-08-10 14:24:06
阅读次数:
302
本文翻译自Pre-defined Timestamp Extractors / Watermark Emitter 正如timestamps and watermark handling中所述,Flink提供了抽象类来让开发者赋值自己的时间戳并发送他们自己的Watermark。更具体来说,开发者需要 ...
分类:
编程语言 时间:
2016-08-10 00:36:39
阅读次数:
387
Event Time 本文翻译自DataStream API Docs v1.2的Event Time 一、事件时间 / 处理时间 / 提取时间 Flink支持流程序不同的time概念。 · Processing time:处理时间指执行对应Operation的设备的系统时间。 当一个流程序以处理时 ...
分类:
编程语言 时间:
2016-08-07 00:57:06
阅读次数:
1331
DataStream API编程指导 文档翻译自Flink DataStream API Programming Guide Flink中的DataStream程序是实现在数据流上的transformation(如filtering,updating state, defining windows, ...
分类:
编程语言 时间:
2016-08-02 21:03:00
阅读次数:
732
友情链接:dede:flink {dede:flink row='24' type='image' titlelen="24" typeid="0"} [field:link /] {/dede:flink} type:链接类型,值: a. textall 全部用文字显示; b. textimage ...
分类:
其他好文 时间:
2016-08-01 19:10:46
阅读次数:
123
本文翻译自Contributing Code Apache Flink是由自愿的代码贡献者维护、优化及扩展的。Apache Flink社区鼓励任何人贡献源代码。为了使得代码贡献者及复查者之便利,以及保存高质量的代码基础,我们遵循着一个贡献代码的过程,该过程将在本文档中详细描述。 本文包括有关向Fli ...
分类:
其他好文 时间:
2016-07-22 14:32:47
阅读次数:
808