==背景== 阿里云ECS服务器提示“ZooKeeper未授权访问高危风险” ==相关组件及版本== Linux：Centos 8.0 Zookeeper：3.5.6 Hadoop：2.8.3 Flink：1.10.0 ==Zookeeper ACL介绍== 网上随便找一个网站看看就应该可以了解了， ...
分类：
其他好文 时间：
2020-07-05 15:23:42
阅读次数：
207
原文：王知无 https://www.cnblogs.com/importbigdata/p/12178404.html 维表JOIN-绕不过去的业务场景 在Flink 流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。 例如：在电商场景中，需要一个商品的skuid去关联商品的一 ...
分类：
其他好文 时间：
2020-07-03 10:36:10
阅读次数：
58
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的 ...
MapReduce计算模型中，如果两个数据集的关联，并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联，那么会导致大量数据分发到一个节点计算，使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型，而是计算思想模型，比如spark、flink等，甚至更广阔 ...
分类：
其他好文 时间：
2020-06-30 00:16:31
阅读次数：
68
一、Data Sinks 在使用 Flink 进行数据处理时，数据经 Data Source 流入，然后通过系列 Transformations 的转化，最终可以通过 Sink 将计算结果进行输出，Flink Data Sinks 就是用于定义数据流最终的输出位置。Flink 提供了几个较为简单的 ...
分类：
其他好文 时间：
2020-06-28 09:50:59
阅读次数：
76
一、Transformations 分类 Flink 的 Transformations 操作主要用于将一个和多个 DataStream 按需转换成新的 DataStream。它主要分为以下三类： DataStream Transformations：进行数据流相关转换操作； Physical pa ...
分类：
其他好文 时间：
2020-06-28 09:35:03
阅读次数：
60
1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类：
其他好文 时间：
2020-06-27 21:42:37
阅读次数：
90
一、安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings ...
分类：
其他好文 时间：
2020-06-27 20:01:40
阅读次数：
70
package spendreport; import org.apache.flink.api.common.state.ValueState; import org.apache.flink.api.common.state.ValueStateDescriptor; import org.ap ...
分类：
Web程序 时间：
2020-06-25 13:37:20
阅读次数：
162
For Flink applications to run reliably at large scale, two conditions must be fulfilled: The application needs to be able to take checkpoints reliably ...
分类：
其他好文 时间：
2020-06-24 14:07:13
阅读次数：
47
