innobackupex备份和恢复原理备份原理：1.找到redolog中最后一个checkpoint的lsn,从这个lsn开始记录所有新的redolog2.cpinnodb数据3.flushtableswithreadlock(加全局锁)4.复制所有myisam表和所有表的表结构文件5.锁定binlog文件6.记录当前的binlogfile和pos恢复原理：innobackup..
分类：
其他好文 时间：
2016-05-31 06:39:45
阅读次数：
565
一、Checkpoint到底是什么？1，Spark在生产环境下经常会面临Tranformations的RDD非常多（例如一个Job中包含1万个RDD）或者具体Tranformation产生的RDD本身计算特别复杂和耗时（例如计算时常超过1个小时），此时我们必须考虑对计算结果数据的持久化；2，Spark是擅长多步骤迭代，..
分类：
其他好文 时间：
2016-05-15 19:56:01
阅读次数：
173
一、常用用法有3种常用的模式，因而有3种常用用法，分别介绍如下。1.1、删除其他命令的输出 | tr [--complement] -d SET1.2、去重其他命令的输出 | tr [--complement] -s SET1.3、替换其他命令的输出 | tr SET1 SET2二、含义与选项2.1、含义相应于3种常用用法，含义分别介绍如下。2.1.1、删除对于标准输入内容，如果未指定“–compl...
分类：
其他好文 时间：
2016-05-12 15:05:20
阅读次数：
143
本节课程主要分二个部分：
一、Spark Streaming updateStateByKey案例实战
二、Spark Streaming updateStateByKey源码解密
第一部分：
updateStateByKey它的主要功能是随着时间的流逝，在Spark Streaming中可以为每一个key可以通过CheckPoint来维护一份state状态，通过更新函数对该k...
分类：
其他好文 时间：
2016-05-12 11:43:05
阅读次数：
176
RDD持久化、广播、累加器实质上分别涉及了RDD的数据如何保存，RDD在构建高效算法的时候涉及了persist或者checkpoint，以及广播和累加器，通过spark-shell可以试验一些小功能，spark-shell本身是spark的发行包推出的一个程序，通过这个程序可以直接写代码，spark-shell会把代码..
分类：
其他好文 时间：
2016-05-08 12:09:39
阅读次数：
1173
goldengate从11.2升级到12.1.2 1.停止抽取进程 GGSCI (001.oracle.drs.dc.com) 286> stop EXTSJ01 2. 停止投递和复制进程 等待投递进程传输完和复制进程加载完毕.当投递进程的Write Checkpoint #1的Sequence和R ...
分类：
其他好文 时间：
2016-05-05 22:39:19
阅读次数：
548
1、自动的进行磁盘数据和内存之间的无缝切换 2、基于lineage的高效容错，第n个出错，会从第n-1个开始执行 3、task失败会进行特定次数的重试 4、stage失败会自动进行特定次数的重试，并且只运行计算失败的数据分片 5、checkpoint（类似单机游戏里的存档）和presist，持久化c ...
分类：
其他好文 时间：
2016-04-21 23:36:29
阅读次数：
222
什么是复杂链表？复杂链表的节点包括三个成员变量：一个T类型的变量，一个指向下个节点的指针，一个随机指向的指针。复杂链表的复制需要注意：复制之后的链表的每个节点的随机指针的指向需要和复制之前的链表的节点的随机指针指向的节点一样。节点：structComplexNode
{
Compl..
分类：
其他好文 时间：
2016-04-19 14:33:59
阅读次数：
316
任何在缓冲区被修改的页都会被标记为“脏”页。将这个脏页写入到数据磁盘就是CheckPoint或者Lazy Writer的工作.前面就大体说了一下checkpoint,这会就简单的理解一下这个lazy writer. Lazy Writer存在的目的是对缓冲区进行管理。当缓冲区达到某一临界值时，Laz ...
分类：
数据库 时间：
2016-04-18 13:41:18
阅读次数：
328
关于检查点的解释: 出于性能方面的考虑，数据库引擎对内存（缓冲区缓存）中的数据库页进行修改，但在每次更改后不将这些页写入磁盘。相反，数据库引擎定期发出对每个数据库的检查点命令。“检查点”将当前内存中已修改的页（称为“脏页”）和事务日志信息从内存写入磁盘，并记录有关事务日志的信息。 数据库引擎支持几种 ...
分类：
数据库 时间：
2016-04-18 13:20:23
阅读次数：
342
