本文参考内容： https://www.mindspore.cn/doc/programming_guide/zh-CN/r1.2/advanced_usage_of_checkpoint.html?highlight=save_checkpoint 有官方文档内容可知，我们对网络参数的保存不仅可以 ...
分类：
其他好文 时间：
2021-07-12 18:27:04
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
Flink可靠性的基石-checkpoint机制详细解析 Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的ch ...
分类：
其他好文 时间：
2021-06-02 14:37:17
阅读次数：
0
一、问题报错 [ERROR] InnoDB: Ignoring the redo log due to missing MLOG_CHECKPOINT between the checkpoint xxxx and the end yyyy. 因MySQL上存储的应用数据并没有多大，mysql下多张 ...
分类：
数据库 时间：
2021-04-22 15:22:00
阅读次数：
0
大量的等待事件，系统缓慢，从AWR看DBtime已经满负载了，主要等待事件如下 Enq: KO - Fast Object Checkpoint 占比DBTime的45%。通过ASH查询阻塞关系，等待该事件的用户SQL都被796会话阻塞，而该用户是CKPT进程。 SYS@orcl1>select s ...
分类：
其他好文 时间：
2021-04-14 12:38:41
阅读次数：
0
大量的等待事件，系统缓慢，从AWR看DBtime已经满负载了，主要等待事件如下 Enq: KO - Fast Object Checkpoint 占比DBTime的45%。通过ASH查询阻塞关系，等待该事件的用户SQL都被796会话阻塞，而该用户是CKPT进程。 SYS@orcl1>select s ...
分类：
其他好文 时间：
2021-04-14 12:37:28
阅读次数：
0
RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重新计算一遍。这是默认的 ...
分类：
系统相关 时间：
2021-04-06 14:53:55
阅读次数：
0
# https://github.com/tczhangzhi/pytorch-distributed/blob/master/distributed.py # remember best acc@1 and save checkpoint is_best = acc1 > best_acc1 be ...
分类：
其他好文 时间：
2021-04-02 12:56:50
阅读次数：
0
最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. ...
分类：
其他好文 时间：
2021-03-30 12:44:32
阅读次数：
0
Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport ...
分类：
其他好文 时间：
2021-01-28 12:03:40
阅读次数：
0
