使用checkpoint进行故障恢复 如果发生故障或关机，可以恢复之前的查询的进度和状态，并从停止的地方继续执行。这是使用Checkpoint和预写日志完成的。您可以使用检查点位置配置查询，那么查询将将所有进度信息（即，每个触发器中处理的偏移范围）和运行聚合（例如，示例中的wordcount）保存到 ...
分类：
其他好文 时间：
2018-09-11 14:18:35
阅读次数：
198
今天面试被问到一个问题，如何调试多进程的程序，我回答gdb attach [pid]，之后又问如果程序中有些数据读取不对，但这种现象是偶然发生的，这时候要怎么操作，当时就懵了......，通过查找资料找到了答案，现在写篇博文记下来。 checkpoint 有些时候bug的出现是偶然发生的，如果有东西 ...
分类：
数据库 时间：
2018-09-06 02:43:26
阅读次数：
162
今天我尝试了用Checkpoint防火墙完成论坛的对外映射，在这里向大家分享一下过程与心得。首先我是在红帽7上搭建的DISCUZ论坛，以LAMP为架构部署的动态论坛环境。如图所示。之后我安装的是CheckPointSmartConsole80.2版本，如图；首先需要先进入web地址进入网页完成初始化配置输入账户名，默认为admin，密码同样默认为admin，进入界面后首先要配置外网网址和掩码：然后
分类：
其他好文 时间：
2018-08-28 01:08:05
阅读次数：
171
https://www.cnblogs.com/superhedantou/p/9004820.html checkpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如H ...
分类：
其他好文 时间：
2018-08-27 16:02:19
阅读次数：
429
使用tf.train.Saver()保存到checkpoint文件，我们可以用tensorflow查看。 ...
分类：
其他好文 时间：
2018-08-25 21:18:34
阅读次数：
156
事情经过：之前该topic(M_A)已经存在，而且正常消费了一段时间，后来删除了topic(M_A)，重新创建了topic（M-B），程序使用新创建的topic（M-B）进行实时统计操作，执行过程中抛出了一下异常： 错误原因，在structured streaming编程时，使用checkpoint ...
分类：
其他好文 时间：
2018-08-24 13:27:28
阅读次数：
272
一、CheckPoint技术 1、解决的问题: (1) 缩短数据库的恢复时间 (2) 缓冲池不够用,将脏页刷新到磁盘 (3) 重做日志不可用时，刷新脏页 2、两种Checkpoint: (1) Sharp Checkpoint: 数据库关闭时将所有脏页刷新到磁盘 (2) Fuzzy Checkpoi ...
分类：
数据库 时间：
2018-08-24 02:01:32
阅读次数：
176
拓扑： 外线联通、电信各200M，通过边界交换机（纯二层，用于分线），分别接到主、备防火墙。 具体配置如下： ...
分类：
其他好文 时间：
2018-08-23 10:46:14
阅读次数：
304
理解数据库中的undo日志、redo日志、检查点 2014-6-18 原文：https://www.letiantian.me/2014-06-18-db-undo-redo-checkpoint/ 数据库存放数据的文件，本文称其为data file。数据库的内容在内存里是有缓存的，这里命名为db ...
分类：
数据库 时间：
2018-08-18 19:42:12
阅读次数：
235
1、问题现象抽取进程常常running，但是没有新产生trail文件，lag比较大 2、问题解决通过 info ext1 showch 查看抽取进程的Recovery Checkpoint，设置抽取进程到相应时间 shell下通过下列脚本过滤出OGG进程状态，留作监控使用 ...
分类：
系统相关 时间：
2018-08-15 14:02:15
阅读次数：
349
