Checkpoint触发机制 Flink的checkpoint是通过定时器周期性触发的。checkpoint触发最关键的类是CheckpointCoordinator,称它为检查点协调器。 CheckpointCoordinator主要作用是协调operators和state的分布式快照。它通过向相 ...
分类:
其他好文 时间:
2018-06-27 23:51:44
阅读次数:
280
一个StateBackEnd包括以下几个部分:1.CheckPointStreamFactory构造流用于写出Checkpoint数据不同的StateBackEnd会有不同的实现,返回不同的CheckpointStateOutputStream实现,比如FsStateBackEnd就会构造文件流,而MemoryStateBackEnd就会构造ByteArraOutputStreamCheckpoi
分类:
其他好文 时间:
2018-06-26 20:03:40
阅读次数:
786
public class RecordWriter<T extends IOReadableWritable> {==FullBuffer /** * This is used to send LatencyMarks to a random target channel. */public voi ...
分类:
其他好文 时间:
2018-06-21 01:33:29
阅读次数:
251
http://www.cnblogs.com/34fj/p/8820094.html https://blog.csdn.net/lmalds/article/details/52400805 ...
分类:
数据库 时间:
2018-06-20 19:05:00
阅读次数:
540
https://data-artisans.com/flink-forward/resources/alibabas-common-algorithm-platform-on-flink https://sf-2018.flink-forward.org/kb_sessions/alibabas-c ...
分类:
其他好文 时间:
2018-06-18 22:18:45
阅读次数:
222
https://www.slideshare.net/dataArtisans/apache-flink-training-metrics-monitoring https://ci.apache.org/projects/flink/flink-docs-release-1.4/monitorin ...
分类:
Web程序 时间:
2018-06-03 19:41:24
阅读次数:
163
从Metrics的使用说起 Flink的Metrics种类有四种Counters, Gauges, Histograms和Meters. 如何使用Metrics呢? 以Counter为例, 行7 getMetricGroup()获取MetricGroup 行8 从MetricGroup中获取Metr ...
分类:
其他好文 时间:
2018-05-30 21:36:07
阅读次数:
1749
1. 使用token PROCESS 结构中的Token 偏移,在x86 系统中偏移0xf8 进程由双链表组成,通过_LIST_ENTRY 来链接,通过循环进程偏移0xb8 来获取所有进程偏移0xb8的地址 kd !process 0 0 system PROCESS 860dac78 Sessio ...
https://ci.apache.org/projects/flink/flink-docs-release-1.1/apis/streaming/savepoints.html https://info.lightbend.com/rs/558-NCX-702/images/preview-ap ...
分类:
其他好文 时间:
2018-05-27 19:01:46
阅读次数:
166
## 概览 Secret是用来保存小片敏感数据的k8s资源,例如密码,token,或者秘钥。这类数据当然也可以存放在Pod或者镜像中,但是放在Secret中是为了更方便的控制如何使用数据,并减少暴露的风险。 用户可以创建自己的secret,系统也会有自己的secret。 Pod需要先引用才能使用某个 ...
分类:
其他好文 时间:
2018-05-25 14:51:22
阅读次数:
151