1.Theano中的scan函数 目前先弱弱的认为：相当于symbolic的for循环吧，或者说计算图上的for循环，也可以用来替代repeat-until。 与scan相比，scan_checkpoint减少了内存的使用，只保存最后一步的计算结果。 2.Theano中的shared变量 Varia ...
分类：
其他好文 时间：
2017-04-21 18:48:58
阅读次数：
183
SQL Server中的I/O操作类型： 1.对于内存中没有缓存的数据，第一次访问时需要将数据从所在的页面从数据文件中读取到内存中 2.在任何Insert/Update/Delete提交前，SQL Server需要保证日志记录能够写入到日志文件中 3.当SQL Server做Checkpoint时， ...
分类：
数据库 时间：
2017-04-12 19:30:23
阅读次数：
256
在SSIS的Package Property中有CheckPoints的属性目录，CheckPoint是SSIS的Failover Feature。通过简单的配置CheckPoint，能够在Package执行失败时，不重复执行已经成功的Control Flow，只在最后出错点继续执行。 一，Chec ...
分类：
其他好文 时间：
2017-04-10 13:21:26
阅读次数：
195
本课主题 Checkpoint 运行原理图 Checkpoint 源码解析 引言 Checkpoint 到底是什么和需要用 Checkpoint 解决什么问题： Checkpoint 运行原理图 [下图是 Checkpoint 运行原理图] Checkpoint 源码解析 參考資料 资料来源来至 D ...
分类：
其他好文 时间：
2017-03-12 19:59:35
阅读次数：
272
Spark性能调优之代码方面的优化 1.避免创建重复的RDD 对性能没有问题，但会造成代码混乱 2.尽可能复用同一个RDD，减少产生RDD的个数 <!--more--> 3.对多次使用的RDD进行持久化（cache,persist,checkpoint） 如何选择一种最合适的持久化策略？ 默认MEM ...
分类：
其他好文 时间：
2017-03-12 15:22:00
阅读次数：
177
objectHextendsApp{
valconf=newSparkConf().setMaster("local[2]").setAppName("hello")
valss=newStreamingContext(conf,Seconds(5))
valkafkaParams=Map[String,String]("metadata.broker.list"->"myhadoop1:9092")
ss.checkpoint("hdfs://myhadoop1:8020/data")
valtopi..
分类：
其他好文 时间：
2017-03-10 22:30:49
阅读次数：
194
OGG Checkpoint 详解 定位中断的位置，下次启动从中断的位置开始恢复。 1.target 端配置； 2.一条记录对应一个replicat 一. Extract Checkpoints (1) Extract read checkpoints （1） Startup checkpoint ...
分类：
其他好文 时间：
2017-03-05 19:28:59
阅读次数：
414
checkpoint的内容参考： http://blog.chinaunix.net/uid-23629988-id-2943273.html 这一篇主要是checkpoint，在next之前加checkpoint命令，然后就可以用 restart 1 来恢复到之前的checkpoint，可以避免从 ...
分类：
数据库 时间：
2017-02-23 13:46:48
阅读次数：
230
控制文件中的SCN 数据文件头的SCN 数据块中的SCN 日志文件头中的SCN 事务SCN 内存中的SCN 一 控制文件中的SCN 1.1 数据库SCN 数据库SCN表示最近一次全量checkpoint操作时的SCN SQL> select checkpoint_change# from v$dat... ...
分类：
数据库 时间：
2017-02-15 16:31:59
阅读次数：
278
Lazy Writer存在的目的是对缓冲区进行管理。当缓冲区达到某一临界值时，Lazy Writer会将缓冲区内的脏页存入磁盘文件中，而将未修改的页释放并回收资源。 CheckPoint或Lazy Writer通过将日志文件末尾的LSN号和缓冲区中数据文件的LSN进行对比，只有缓冲区内LSN号小于日 ...
分类：
其他好文 时间：
2017-02-06 23:36:17
阅读次数：
146
