[toc] 一、 传统mysql主从复制 主从复制步骤： 主库将所有的写操作记录到binlog日志中并生成一个log dump线程，将binlog日志传给从库的I/O线程 从库生成两个线程，一个I/O线程，一个SQL线程 I/O线程去请求主库的binlog，并将得到的binlog日志写到relay ...
分类：
数据库 时间：
2019-05-15 12:27:41
阅读次数：
148
默认情况下，mysql的主从同步，会启用三个线程，两个IO线程和一个SQL线程。主从同步的主要文件就是binlog文件，从库从主库的binlog中读取数据，然后记录在从库自己的relaylog中，然后通过SQL线程从relaylog中读取数据，写入到从库中。这个操作，是不会写入到从库自己的binlo ...
分类：
数据库 时间：
2019-05-15 11:17:49
阅读次数：
215
由于公司要组建一个数据中心，简而言之就是把各个地方的数据都同步到一个地方，做BI建模和数据分析。 一般来说这种需求是由hadoop来实现的，但由于预算不够。。所以，来个low点的办法吧 以下主要是讲rds与mysql主从的搭建 通常来讲，mysql主从分为binlog主从，gtid模式的主从，我这篇 ...
分类：
数据库 时间：
2019-05-14 12:44:32
阅读次数：
207
[toc] 背景 MySQL在26日 16:23:49产生了大量的慢查询，在这段时间内，binlog文件刷新的很快（查看慢日志是mysql DML并发比较多），想知道写完一个binlog文件究竟花了几分钟时间？ 分析 三个binlog文件的最后修改间隔时间分别是2 分钟和1 分钟 同一个事务只能写同 ...
分类：
系统相关 时间：
2019-05-13 23:24:47
阅读次数：
197
1. 作用： 同步mysql；做拉链表；更新redis 某些情况无法从日志中获取信息，而又无法利用sqoop等ETL工具对数据实时的监控 2. canal的工作原理： canal的工作原理很简单，就是把自己伪装成slave，假装从master复制数据。 3. mysql的binlog MySQL的二 ...
分类：
其他好文 时间：
2019-05-12 17:08:09
阅读次数：
698
阿里Canal项目请先了解：canal 考虑可能binlog大批量变更，如果直接通过Canal订阅binlog变动，会造成CanaClient会瞬间爆掉。为了解决这个问题，我们可以引入kafka做一层封装，可以解决这个问题。 未完待续。。。。。。 ...
分类：
其他好文 时间：
2019-05-12 01:26:02
阅读次数：
239
DDL语句 数据库定义语言： 数据库、表、视图、索引、存储过程，例如CREATE DROP ALTER DML语句 数据库操纵语言： 插入数据INSERT、删除数据DELETE、更新数据UPDATE、查询数据SELECT DCL语句 数据库控制语言： 例如控制用户的访问权限GRANT、REVOKE ...
分类：
数据库 时间：
2019-05-10 16:28:52
阅读次数：
171
MySQL数据库的主从复制方案，是其自带的功能，并且主从复制并不是复制磁盘上的数据库文件，而是通过binlog日志复制到需要同步的从服务器上。 MySQL数据库支持单向、双向、链式级联，等不同业务场景的复制。在复制的过程中，一台服务器充当主服务器（Master），接收来自用户的内容更新，而一个或多个 ...
分类：
数据库 时间：
2019-05-09 20:03:52
阅读次数：
188
背景：2019.05.05 正在悠哉悠哉的梦游，忽然开发说数据对不上，问我是不是线上升级服务时候把数据误删了，现在数据都没了（注意：数据没丢失，是表格字段值更新为了null，这老哥表述有点小问题） 解决思路：一脸懵逼，但是想有binlog日志，抱着试试的想法去把binglog日志拉取出来 1>通过开 ...
分类：
数据库 时间：
2019-05-05 17:14:03
阅读次数：
174
本人曾经 用过的备份方式有:mysqldump、mysqlhotcopy、BACKUP TABLE 、SELECT INTOOUTFILE，又或者备份二进制日志（binlog），还可以是直接拷贝数据文件和相关的配置文件。MyISAM表是保存成文件的形式，因此相对比较容易备份，上面提到的几种方法都可以 ...
分类：
数据库 时间：
2019-05-05 14:36:55
阅读次数：
151
