1.从checkpoint中获取全部的变量名和变量值 2.清除 tf.Session tf.reset_default_graph() 重置计算图 3. ...
分类：
其他好文 时间：
2019-09-27 12:18:30
阅读次数：
67
简介 Flink本身为了保证其高可用的特性，以及保证作用的Exactly Once的快速恢复，进而提供了一套强大的Checkpoint机制。 Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前 ...
分类：
其他好文 时间：
2019-09-19 00:59:30
阅读次数：
148
step1:在VMworkstation中创建虚拟机向导，选择Linux2.6内核64位如下图：虚拟机的配置建议如下：RAM：至少8GBDisk:120GCPU：四核step2:使用IOS文件引导后如下图：step3：进行硬盘分区，按默认即可，如下图：step4：设置admin的密码，如下图：step5：设置管理IP，如下图：step6：安装结束后重启，用浏览器登录进行初始化：
分类：
其他好文 时间：
2019-09-15 01:52:57
阅读次数：
114
伪分布式环境： HA环境checkpoint机制 配置了HA的HDFS中，有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息，因为standby namenode已经将集群状态存储在内存中了，所以创建检查点checkpoint的过程只需要 ...
分类：
其他好文 时间：
2019-09-14 22:23:28
阅读次数：
122
checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储（ Snapshot ）。如果Flink程序出现宕机，可以重新从这些快照中恢复数据。 1. checkpoint coordinator（协调器）线程周期生成 barrier （栅栏），发送给每一 ...
分类：
其他好文 时间：
2019-08-31 19:39:24
阅读次数：
114
ibdata1->checkpoint lsn->5.5 1.拿到ibdata1中checkpoint lsn位置 2.在redo中比对那些比checkpoint lsn大的位置的redo， a.已经commit带有xid,filename,pos的，表示InnoDB已经提交，但是没有持久化到ibd ...
分类：
数据库 时间：
2019-07-24 00:32:10
阅读次数：
133
sparkRDD算子 分区/只读/依赖/缓存/checkPoint Transformation map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 filter(func) 返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成 ...
分类：
其他好文 时间：
2019-07-20 23:00:20
阅读次数：
116
60题、choose one When does a database checkpoint occur? A) When there is an online redo log switch. B) When the SHUTDOWN ABORT command is issued. C) Whe ...
分类：
其他好文 时间：
2019-07-18 13:26:56
阅读次数：
85
OGG-00446 分析与解决 Table of Contents 1. 00446 1.1. Missing filename opening checkpoint file 1.1.1. 错误信息 1.1.2. 分析 1.2. could not find archived log 1.2.1. ...
分类：
其他好文 时间：
2019-07-15 01:21:02
阅读次数：
268
1.概述 Flink支持有状态计算，根据支持得不同状态类型，分别有Keyed State和Operator State。针对状态数据得持久化，Flink提供了Checkpoint机制处理；针对状态数据，Flink提供了不同的状态管理器来管理状态数据，如MemoryStateBackend。 上面Fl ...
分类：
其他好文 时间：
2019-07-09 19:20:26
阅读次数：
84
