ValueError The passed save_path is not a valid checkpoint ...
分类：
其他好文 时间：
2020-02-07 18:51:00
阅读次数：
432
记录comitlog，consumeQueue，Index文件的刷盘时间点，文件固定长度4k，其中只用该文件的24个字节，其存储格式： 8字节physicMsgtimestamp+8字节logicsMsgTimestamp+8字节indexMsgTimestamp physicMsgtimestam ...
分类：
其他好文 时间：
2020-01-26 23:56:50
阅读次数：
124
1. 从 ckpt .data,ckpt .index 和 .meta 生成 frozenpb 2. 从网络代码和 ckpt .data 文件生成 frozenpb 3. 打印 网络中节点的名字 或者通过 4. 两种方法对比 如果是自己的代码训练的模型，有网络结构，有 ckpt 文件，最好是使用第二 ...
分类：
其他好文 时间：
2020-01-15 14:11:48
阅读次数：
121
+ HDFS 写文件 + 网络拓扑 节点距离计算 + HDFS读流程 + NN和2NN工作机制 + Fsimage和Edits解析 + CheckPoint时间设置 + NameNode故障后的数据恢复 HDFS 数据流 HDFS 写文件 1）客户端通过Distributed FileSystem模 ...
分类：
其他好文 时间：
2020-01-08 18:45:59
阅读次数：
95
[TOC] 1.基础类型 python的数据类型可以分为两种,一种是内置的,一种是其他包中的,内置的数据类型可以分为10种: (1)整数 用int表示,强制转换函数为int(): 输出都是10. (2)实数 用float表示,强制转换函数为float() 看一个有趣的东西: (3)复数 用compl ...
分类：
编程语言 时间：
2019-12-27 09:59:49
阅读次数：
95
这里将介绍Flink对有状态计算的支持，其中包括状态计算和无状态计算的区别，以及在Flink中支持的不同状态类型，分别有 Keyed State 和 Operator State 。另外针对状态数据的持久化，以及整个 Flink 任务的数据一致性保证，Flink 提供了 Checkpoint 机制处 ...
分类：
其他好文 时间：
2019-12-24 18:32:48
阅读次数：
94
这里将介绍Flink对有状态计算的支持，其中包括状态计算和无状态计算的区别，以及在Flink中支持的不同状态类型，分别有 Keyed State 和 Operator State 。另外针对状态数据的持久化，以及整个 Flink 任务的数据一致性保证，Flink 提供了 Checkpoint 机制处... ...
分类：
其他好文 时间：
2019-12-24 09:20:00
阅读次数：
88
import sys import codecs import tensorflow as tf # 1.参数设置。 # 读取checkpoint的路径。9000表示是训练程序在第9000步保存的checkpoint。 CHECKPOINT_PATH = "F:\\temp\\attention_c... ...
分类：
编程语言 时间：
2019-12-19 21:35:30
阅读次数：
93
在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE，kafka使用的版本为1.1.0，flink的版本为1.8.0，但是会很经常因为提交事务引起错误，甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。
查看kafka documentation和... ...
分类：
其他好文 时间：
2019-12-16 13:10:45
阅读次数：
522
1. 实例化对象 saver = tf.train.Saver(max_to_keep=1) max_to_keep: 表明保存的最大checkpoint文件数。当一个新文件创建的时候，旧文件就会被删掉。如果值为None或0， 表示保存所有的checkpoint文件。默认值5（也就是说，保存最近的5 ...
分类：
其他好文 时间：
2019-12-16 12:53:49
阅读次数：
90
