Spark性能调优之代码方面的优化 1.避免创建重复的RDD 对性能没有问题，但会造成代码混乱 2.尽可能复用同一个RDD，减少产生RDD的个数 <!--more--> 3.对多次使用的RDD进行持久化（cache,persist,checkpoint） 如何选择一种最合适的持久化策略？ 默认MEM ...
分类：
其他好文 时间：
2017-03-12 15:22:00
阅读次数：
177
objectHextendsApp{
valconf=newSparkConf().setMaster("local[2]").setAppName("hello")
valss=newStreamingContext(conf,Seconds(5))
valkafkaParams=Map[String,String]("metadata.broker.list"->"myhadoop1:9092")
ss.checkpoint("hdfs://myhadoop1:8020/data")
valtopi..
分类：
其他好文 时间：
2017-03-10 22:30:49
阅读次数：
194
OGG Checkpoint 详解 定位中断的位置，下次启动从中断的位置开始恢复。 1.target 端配置； 2.一条记录对应一个replicat 一. Extract Checkpoints (1) Extract read checkpoints （1） Startup checkpoint ...
分类：
其他好文 时间：
2017-03-05 19:28:59
阅读次数：
414
checkpoint的内容参考： http://blog.chinaunix.net/uid-23629988-id-2943273.html 这一篇主要是checkpoint，在next之前加checkpoint命令，然后就可以用 restart 1 来恢复到之前的checkpoint，可以避免从 ...
分类：
数据库 时间：
2017-02-23 13:46:48
阅读次数：
230
控制文件中的SCN 数据文件头的SCN 数据块中的SCN 日志文件头中的SCN 事务SCN 内存中的SCN 一 控制文件中的SCN 1.1 数据库SCN 数据库SCN表示最近一次全量checkpoint操作时的SCN SQL> select checkpoint_change# from v$dat... ...
分类：
数据库 时间：
2017-02-15 16:31:59
阅读次数：
278
Lazy Writer存在的目的是对缓冲区进行管理。当缓冲区达到某一临界值时，Lazy Writer会将缓冲区内的脏页存入磁盘文件中，而将未修改的页释放并回收资源。 CheckPoint或Lazy Writer通过将日志文件末尾的LSN号和缓冲区中数据文件的LSN进行对比，只有缓冲区内LSN号小于日 ...
分类：
其他好文 时间：
2017-02-06 23:36:17
阅读次数：
146
--两个相关视图v$logv$logfile alter system switch logfile; --强制日志切换alter system checkpoint; --强制检查点 --添加日志组alter database add logfile group 4 ('/u01/app/orac ...
分类：
数据库 时间：
2017-02-04 12:34:45
阅读次数：
217
入口1–>runc处理（2）中处理-->至libcontainer处理（3）第一步runc代码处理checkpointcheckpointCommand(main.go)—>checkpointCommand(checkpoint.go)containercreateCommand(main.go)—>createCommand(create.go)—>startContainer(untils_linux.go)—>r..
分类：
其他好文 时间：
2017-01-22 15:36:54
阅读次数：
416
使用Microsoft Data Protection Manager（DPM）有时会造成虚拟机的动态和固定磁盘变成差异磁盘，这个应该与DPM进行差异备份有关，未知原因造成DPM差异备份后无法复原原来的磁盘类型，并且在Hyper-V Manager中看到非常多树形结构的层层依赖的Checkpoint... ...
分类：
其他好文 时间：
2017-01-11 16:00:50
阅读次数：
388
什么是checkpoint？在Oracle 数据库中checkpoint的意思是将内存中的脏数据强制写入到磁盘的事件,其作用是保持内存中的数据与磁盘上的数据一致。SCN是用来描述该事件发生的准确的时间点。而GoldenGate中出现的checkpoint有着不同的含义。简单的说就是position， ...
分类：
数据库 时间：
2016-12-23 00:48:38
阅读次数：
548
