翻译来源- DataStream API Event Time 翻译来源- DataStream API Generating Watermarks 翻译来源- DataStream API Builtin Watermark Generators 概览 事件时间 原文Event Time。 在本节 ...
分类：
移动开发 时间：
2021-03-10 13:40:25
阅读次数：
0
0 简介 Yarn-per-job模式提交流程 总图 1 程序起点 2 创建 Yarn 客户端应用程序 2.1 程序入口 2.2 解析输入参数 2.3 选择创建哪种类型的客户端 2.4 获取有效配置 2.5 调用用户代码的 main 方法 2.6 调用执行环境的 execute 方法 ...
分类：
其他好文 时间：
2021-03-05 13:16:30
阅读次数：
0
简介： 快手基于 Flink 的持续优化与实践的介绍。 一、Flink 稳定性持续优化 第一部分是 Flink 稳定性的持续优化。该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是基于内部的双机房读或双机房写和一些容错的策略。第二部分关 ...
分类：
其他好文 时间：
2021-03-05 12:54:40
阅读次数：
0
近日，Hudi社区合并了 Flink 引擎的基础实现（HUDI-1327），这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类：
其他好文 时间：
2021-03-04 13:29:01
阅读次数：
0
1.需求 /** * 需求：每两个元素输出一次 */2 代码 package com.nx.streaming.lesson03; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api ...
分类：
其他好文 时间：
2021-02-15 12:25:40
阅读次数：
0
Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport ...
分类：
其他好文 时间：
2021-01-28 12:03:40
阅读次数：
0
来源：https://mp.weixin.qq.com/s/Tb8GtabOVBvx88de0C4ncw 0 背景 在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记 ...
分类：
数据库 时间：
2021-01-27 13:12:51
阅读次数：
0
知识点 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么 几步：首先创建执行环境，然后定义 source、transform 和 sink。 1、依赖：Table API 和 SQL 需要引入的依赖 <!-- old planner flink table ...
分类：
其他好文 时间：
2021-01-14 10:44:32
阅读次数：
0
Flink+ClickHouse构建亿级电商用户画像平台（PC、移动、小程序）完整版131节，2020年10月新课本课程采用Flink+ClickHouse技术架构实现我们的画像系统，通过学习完本课程可以节省你摸索的时间，节省企业成本，提高企业开发效率。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助，如对我录制的教程内容有建议请及时交流。项目中采用到的算法包含LogisticRegr
分类：
微信 时间：
2020-12-16 13:08:36
阅读次数：
9
Flink 集群搭建(基于flink on YARN模式) Flink HA高可以集群搭建(生产环境Flink Cluster On YARN) ...
分类：
其他好文 时间：
2020-12-14 13:50:58
阅读次数：
7
