脚本内容：如果没有进行过全量备份则首次进行全量备份，每周一进行一次全量备份，其余6天进行增量备份 #!/bin/bashinnobackupex=/usr/bin/innobackupex #命令位置mysql_cmd=" --user=root --password=password --host ...
分类：
数据库 时间：
2019-12-03 17:56:17
阅读次数：
122
一、使用场景 大背景是从kafka 中读取oplog进行增量处理，但是当我想发一条命令将这个增量过程阻塞，然后开始进行一次全量同步之后，在开始继续增量。 所以需要对多个协程进行控制。 二、使用知识 1. 从一个未初始化的管道读会阻塞 2.从一个关闭的管道读不会阻塞 利用两个管道和select 进行控 ...
分类：
其他好文 时间：
2019-12-01 17:16:19
阅读次数：
147
import timeprint('当前时间戳：%f' % time.time())time.sleep(3) # 暂停3秒继续执行t = time.localtime(1574949906) # 转换时间戳，出来是结构化时间print(time.strftime('%Y-%m-%d %H-%M-% ...
分类：
编程语言 时间：
2019-11-30 13:22:00
阅读次数：
98
1.故障现象 20191113-22:32 datax全量同步t_shop_info表到 eorder所在的实例，t_shop_info表有两个唯一约束。总数据量不超过1w行，同步完成后MGR从库复制线程死锁。导致同步停止，影响业务。 从库processlist 截图 2.故障复现 2.1 集群环境 ...
分类：
编程语言 时间：
2019-11-30 11:41:55
阅读次数：
116
背景： 由于需要对大促期间的曝光日志进行降级，需要验证保留下来的70多个pageid的页面是否生效。 如果使用常规手段，如果想要全量验证，需要使用kafka收发数据的脚本跑70+遍，想想就是一件很繁重很蠢的工作。 这个时候想到使用python进行辅助验证，即可以进行全量校验，又能节省时间。 思路： ...
分类：
其他好文 时间：
2019-11-28 18:51:55
阅读次数：
57
数据备份的重要性在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果造成数据丢失的原因：程序错误人为错误计算机失败磁盘失败灾难和偷窃数据库备份的分类物理备份：对数据库操作系统的物理文件(如数据文件，日志文件等)的备份物理备份又分为脱机备份（冷备份）和联机备份（热备份）冷备份：是在关闭数据库的时候进行的热备份：数据库处于运行状态，这种备份方法依赖于数据库的日志文件
分类：
数据库 时间：
2019-11-27 10:31:24
阅读次数：
100
1 import time 2 #python中当我们需要一个循环体，可以使用类似下面命令生成一个有规律的列表，然后对此列表进行循环。下面的语句称为列表生成式。 3 # 当被循环列表规模很大时其需要在循环开始到整个循环结束一致占用全量内存空间，而且还有可能整个循环体只需要访问前面几个数据，此时造成空 ...
分类：
编程语言 时间：
2019-11-27 01:08:42
阅读次数：
84
数据备份的重要性1、在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果2、造成数据丢失的原因程序错误人为错误计算机失败磁盘失败灾难(如地震等)和偷窃数据库备份的分类一、从物理与逻辑的角度，备份可分为：1、物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份物理备份又可以分为脱机备份(冷备份)和联机备份(热备份)：-冷备份:是在关闭数据库的时候进行的-热备份:
分类：
数据库 时间：
2019-11-26 09:13:51
阅读次数：
83
## 数据备份的重要性
```
1、在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果
2、造成数据丢失的原因
程序错误
人为错误
计算机失败
磁盘失败
灾难(如地震等)和偷窃
```
## 数据库备份的分类
**一、从物理与逻辑的角度，备份可分为：**
```
1、物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份
物理备份又可以分为脱机备份(冷备份)和联机备份(热备份)：
-冷备份:是在关闭数据库的时候进行的
-热备份:数据库处于运行状态，这种备份方法依赖于数据库的日志文件
2、逻辑备份:对数据库逻辑组件(如表等数据库对象)的备份
```
**二、从数据库的备份策略角度， 备份可分为：**
```
分类：
数据库 时间：
2019-11-24 22:23:18
阅读次数：
208
