Flink可靠性的基石-checkpoint机制详细解析 Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的ch ...
分类：
其他好文 时间：
2021-06-02 14:37:17
阅读次数：
0
一、关于TableException的问题 [ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.TableException: Sink `catalog_1`.`mydb`.`region_sales ...
分类：
其他好文 时间：
2021-05-24 08:49:39
阅读次数：
0
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star ...
Flink处理函数实战之五：CoProcessFunction(双流处理) 欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等； 欢迎访问我的Git ...
分类：
其他好文 时间：
2021-04-28 12:02:58
阅读次数：
0
1. 搭建测试环境安装 1.1 下载并启动docker-compose容器 # 该 Docker Compose 中包含的容器有： # DataGen：数据生成器。容器启动后会自动开始生成用户行为数据，并发送到 Kafka 集群中。默认每秒生成 1000 条数据，持续生成约 3 小时。也可以更改 d ...
分类：
数据库 时间：
2021-04-28 11:43:18
阅读次数：
0
在开发Flink程序在本地模式调试时，需要用webUI， 首先需要导入依赖 <!-- flink运行时的webUI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</art ...
分类：
Web程序 时间：
2021-04-24 11:56:23
阅读次数：
0
FlinkSQL 和常见的SQL一样，也分为 DDL,DML,DQL,DCL。
本文的主要内容是探讨如何利用FlinkAPI 对多行SQL语句进行校验。 ...
分类：
数据库 时间：
2021-04-21 12:07:34
阅读次数：
0
一、大数据框架三种语义???? 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类：
其他好文 时间：
2021-04-09 13:27:18
阅读次数：
0
##程序和数据流 Flink程序的基本构建块是streams和transformations（注意，DataSet在内部也是一个stream）。一个stream可以看成一个中间结果，而一个transformations是以一个或多个stream作为输入的某种operation，该operation利 ...
分类：
其他好文 时间：
2021-04-08 13:28:24
阅读次数：
0
准备工作 下载地址-->http://kafka.apache.org/downloads -->总结之3步走 -->0.下载一个比较好入门的文件 不需要配置这配置那, 不需要导出找这找那... 傻瓜式,拿来可以直接运行的那种. -->0.5.预备工作,会在当前当前目录下打开命令行(PowerShe ...
分类：
其他好文 时间：
2021-04-01 13:27:01
阅读次数：
0
