欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等； 关于Flink SQL Client Flink Table & SQL的API实现了通过SQ ...
分类：
数据库 时间：
2020-11-18 13:07:58
阅读次数：
15
Flink State Time-To-Live (TTL) ...
分类：
其他好文 时间：
2020-11-17 12:54:38
阅读次数：
8
? 往期推荐： Flink基础：入门介绍 Flink基础：DataStream API Flink深入浅出：资源管理 Flink深入浅出：部署模式 Flink深入浅出：内存模型 Flink深入浅出：JDBC Source从理论到实战 Flink深入浅出：Sql Gateway源码分析 Flink深入 ...
分类：
其他好文 时间：
2020-11-17 12:44:02
阅读次数：
10
1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES 2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时，需要先 ...
分类：
其他好文 时间：
2020-11-16 14:01:57
阅读次数：
18
FLATMAP flatMap算子和map算子很类似，不同之处在于针对每一个输入事件flatMap可以生成0个、1个或者多个输出元素。事实上，flatMap转换算子是filter和map的泛化。所以flatMap可以实现map和filter算子的功能。图5-3展示了flatMap如何根据输入事件的颜 ...
分类：
其他好文 时间：
2020-11-12 13:42:51
阅读次数：
7
最近一直在看 StreamGraph 生成的源码，刚好有点思路，准备动手了发现，如果不说下 Transformation 后面的 StreamGraph 会差比较多意思，所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类，实现类有下面 ...
分类：
其他好文 时间：
2020-11-08 17:01:29
阅读次数：
21
#!/bin/sh use=`df|grep "/dev/vdb1"|awk '{print $5}'| sed 's/%//g'` if [[ $use -gt 80 ]];then hdfs dfs -rm -r -skipTrash /user/admin/.flink fi; 先编写好she ...
分类：
系统相关 时间：
2020-11-08 16:52:29
阅读次数：
30
app="APACHE-Flink" && country="CN" app="Apache-Shiro" body="Welcome to Burp Suite" 威胁情报 body="miner.start("&&header!="Mikrotik HttpProxy"&&country=CN ...
分类：
其他好文 时间：
2020-11-06 02:32:20
阅读次数：
24
关于概念的东西，其实官网说的很全，对于个人理解就是，flink、spark等等大数据处理平台就是把原来需要我们自己实现的功能，全部框架封装好，像是跨机器的大规模计算、内存/cpu等等资源管理、状态管理(锁还有恢复机制等等）框架全部封装好了，作为开发来说就只需要关心自己要实现的业务就可以了以下内容来自官网，从3个方面介绍Flink：架构ApacheFlink是一个框架和分布式处理引擎，用于在无边界和
分类：
其他好文 时间：
2020-11-06 02:27:17
阅读次数：
21
一、准备工作安装javayuminstalljava-11-openjdk-y[root@localhostopt]#java-versionopenjdkversion"11.0.8"2020-07-14LTSOpenJDKRuntimeEnvironment18.9(build11.0.8+10-LTS)OpenJDK64-BitServerVM18.9(build11.0
分类：
其他好文 时间：
2020-11-06 02:27:05
阅读次数：
20
