reference: https://tech.meituan.com/2018/10/18/meishi data flink.html ...
分类：
其他好文 时间：
2020-02-08 15:30:37
阅读次数：
52
我们先来以滚动时间窗口为例，来看一下窗口的几个时间参数与Flink流处理系统时间特性的关系。获取窗口开始时间Flink源代码获取窗口的开始时间为以下代码：org.apache.flink.streaming.api.windowing.windows.TimeWindow/** * Method t... ...
分类：
其他好文 时间：
2020-02-07 01:15:39
阅读次数：
143
一.软件要求 Flink在所有类UNIX的环境【例如linux，mac os x和cygwin】上运行，并期望集群由一个 主节点和一个或多个工作节点组成。在开始设置系统之前，确保在每个节点上都安装了一下软件： 1.Java1.8.x或更高版本 2.ssh，必须运行sshd才能使用管理远程组件的Fli ...
分类：
其他好文 时间：
2020-02-05 11:40:25
阅读次数：
374
Flink中的时间类型和窗口是非常重要概念，是学习Flink必须要掌握的两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。分为以下几种：处理时间Flink程序执行对应操作的系统时间。所有基于时间的操作（例如：时间窗口）都将使用运行相应operator的系统时间。例... ...
分类：
其他好文 时间：
2020-02-05 09:16:30
阅读次数：
136
1、同时支持事件时间和处理时间语义。事件时间语义能够针对无序事件提供精确、一致的结果；处理时间语义能够用在具有极低延迟需求的应用中。 2、提供精确一次（exactly once）的状态一致性保障。 3、层次化的API在表达能力和易用性方面各有权衡。表达能力由强到弱（易用性由弱到强）依次是：Proce ...
分类：
其他好文 时间：
2020-02-04 10:32:23
阅读次数：
308
什么是流式处理呢？这个问题其实我们大部分时候是没有考虑过的，大多数，我们是把流式处理和实时计算放在一起来说的。我们先来了解下，什么是数据流。数据流（事件流）数据流是无边界数据集的抽象我们之前接触的数据处理，大多都都是有界的。例如：处理某天的数据、某个季度的数据等无界意味着数据是无限地、持续增长的数据... ...
分类：
其他好文 时间：
2020-02-03 09:50:30
阅读次数：
88
1、通常意义上，函数里所有需要任务去维护并用来计算结果的数据都属于任务的状态。比如 +1的算子，中间结果就是状态。 2、状态有两种， 算子状态：作用域是某个算子任务，所有在同一个并行任务之内的记录都能访问到相同的状态。算子状态不能通过其他任务访问。 健值分区状态： 3、有状态的流式应用的一致性检查点 ...
分类：
其他好文 时间：
2020-02-01 16:25:23
阅读次数：
71
很多时候，我们在IDE中编写Flink代码，我们希望能够查看到Web UI，从而来了解Flink程序的运行情况。按照以下步骤操作即可，亲测有效。1、添加Maven依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink- ...
分类：
Web程序 时间：
2020-02-01 10:37:50
阅读次数：
706
先上代码：public class WordCountKeyedState { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvi ...
分类：
其他好文 时间：
2020-02-01 10:23:27
阅读次数：
98
本篇我们将使用Java语言来实现Flink的单词统计。代码开发环境准备导入Flink 1.9 pom依赖 org.apache.flink flink-java 1.9.0 org.apache.flink flink-streaming-j... ...
分类：
编程语言 时间：
2020-01-31 13:58:49
阅读次数：
154
