1、 Environment 1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境 如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境 也就是说，getExecutionEnvironm ...
1. 通过上期分享《实践指路明灯，源码剖析flink-metrics》，对当下较火的流式处理框架 flink 的指标监控体系有了全局的认识，并结合 flink-metrics-xxxx 模块进行深入分析，对 flink 是如何集成监控轮子了如之掌。 不过，源码中的 flink-metrics-inf ...
分类：
数据库 时间：
2020-04-04 11:27:32
阅读次数：
72
1. 通过上期的分享，我们对 Metrics 类库有了较深入的认识，并对指标监控的几个度量类型了如指掌。 本期，我们将走进当下最火的流式处理框架 flink 的源码，一同深入并学习一下别人家的代码。 2. 会当凌绝顶，一览众山小。先从全局了解个梗概，然后再采用剥洋葱的方式逐层去解密。 我本地的源码是 ...
分类：
其他好文 时间：
2020-04-04 11:12:21
阅读次数：
91
1. 业务说：“…… bulabula……，这个需求很简单，怎么实现我不管？” 面对霸气侧漏的业务需求，由于没有大数据知识储备，咱心里没底，咱也不敢问，咱也不敢说，只能静下来默默储备、默默寻觅解决方案。 关注“一猿小讲”公众号的小伙伴们，今天有福啦，因为今天我们将一起跳出系统之外，共同迈入大数据之 ...
分类：
其他好文 时间：
2020-04-04 09:24:57
阅读次数：
80
public class AvroDeserializationSchema<T> implements DeserializationSchema<T> { private static final long serialVersionUID = 1L; private final Class<T ...
分类：
其他好文 时间：
2020-03-31 22:52:42
阅读次数：
94
前面我们已经安装了flink，与storm一样，flink也有两种模式，一是本地模式，主要用于学习和测试，另一个是集群模式，实际生产中使用这种模式。本节将阐述如何使用本地模式的flink进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100 ...
分类：
其他好文 时间：
2020-03-30 00:09:57
阅读次数：
64
1、啥是Window？Window有啥作用？ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这 ...
运行flink示例时，示例链接（https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/getting-started/walkthroughs/datastream_api.html）报错，内容如下： Error: A JNI ...
分类：
其他好文 时间：
2020-03-27 18:27:35
阅读次数：
683
1. 状态一致性 有状态的流处理，内部每个算子任务都可以有自己的状态； 对于流处理器内部（没有接入sink）来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确； 一条数据不应该丢失，也不应该重复计算； 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正常的； 状态一致性分类： ...
分类：
其他好文 时间：
2020-03-26 01:30:58
阅读次数：
150
一致性检查点（checkpoint） 从检查点恢复状态 Flink检查点算法 保存点（save point） 1. 一致性检查点（checkpoint） Flink--有状态的流式处理 如上图sum_even （2+4），sum_odd（1 + 3 + 5），5这个数据之前的都处理完了，就出保存一个 ...
分类：
其他好文 时间：
2020-03-26 01:08:45
阅读次数：
73
