本文参考内容： https://www.mindspore.cn/doc/programming_guide/zh-CN/r1.2/advanced_usage_of_checkpoint.html?highlight=save_checkpoint 有官方文档内容可知，我们对网络参数的保存不仅可以 ...
分类：
其他好文 时间：
2021-07-12 18:27:04
阅读次数：
0
一、关于TableException的问题 [ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.TableException: Sink `catalog_1`.`mydb`.`region_sales ...
分类：
其他好文 时间：
2021-05-24 08:49:39
阅读次数：
0
.NET Core + K8S + Loki 玩转日志聚合 1. Intro 最近在了解日志聚合系统，正好前几天看到一篇文章《用了日志系统新贵Loki，ELK突然不香了！》，所以就决定动手体验一下。本文就带大家快速了解下Loki，并简单介绍.NET Core如何集成Loki。 2. What's L ...
分类：
Web程序 时间：
2021-04-06 14:12:52
阅读次数：
0
配置文件 flume-taildir-logger.conf： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. ...
分类：
其他好文 时间：
2021-03-08 13:38:15
阅读次数：
0
近日，Hudi社区合并了 Flink 引擎的基础实现（HUDI-1327），这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类：
其他好文 时间：
2021-03-04 13:29:01
阅读次数：
0
import java.io.IOException; import java.nio.ByteBuffer; import java.nio.channels.Pipe; import org.junit.Test; public class TestPipe { @Test public voi ...
分类：
其他好文 时间：
2021-01-18 11:00:46
阅读次数：
0
知识点 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么 几步：首先创建执行环境，然后定义 source、transform 和 sink。 1、依赖：Table API 和 SQL 需要引入的依赖 <!-- old planner flink table ...
分类：
其他好文 时间：
2021-01-14 10:44:32
阅读次数：
0
在公司加班持续了半年冲刺，将miracastaosp实现通过ndk完全解耦出来相对于原生方案改动：audiorecord通过java获取再传递给Native与视频流再一起打包；codecinputsurface直接与virtualdisplay关联，这种方式没法控制视频帧率（surfacemediasource那套没法直接通过ndk实现）针对低延迟，主要依赖sink端实现，去除sink端ffmpe
分类：
其他好文 时间：
2020-11-01 21:30:19
阅读次数：
26
前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
fink slink 后的数据被复写了？？？ 生产环境总会遇到各种各样的莫名其名的数据，一但考虑不周便是车毁人亡啊。 线上sink 流是es , es 的文档id 是自定义的 id+windowSatarTime 设window size = 10min , watermark 最大延迟时间是 10 ...
分类：
其他好文 时间：
2020-10-22 22:23:47
阅读次数：
26
