需要创建大量hdfs目录的原因：配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录，因此需要创建很多。 正常创建目录都是使用 hadoop fs -mkdir -p /aa/bb/01 少数目录可以这么创建，但是目录过多创建就会很慢，因为创建一个目录就需 ...
分类：
其他好文 时间：
2019-08-30 18:48:07
阅读次数：
73
背景 早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启一段新纪元。 当前的 canal 支持源端 My ...
分类：
数据库 时间：
2019-08-30 13:52:31
阅读次数：
315
一.从主架构 1.从主复制原理 从库生成两个线程，一个I/O线程，一个SQL线程； i/o线程去请求主库 的binlog，并将得到的binlog日志写到relay log（中继日志） 文件中；主库会生成一个 log dump 线程，用来给从库 i/o线程传binlog； SQL 线程，会读取rela ...
分类：
数据库 时间：
2019-08-29 20:28:54
阅读次数：
149
一、MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select）,以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。 一般来说开启binlog日志大概会有1%的性能损耗。但开启后可以用来恢复数据。 ...
分类：
数据库 时间：
2019-08-29 17:47:31
阅读次数：
110
查看binglog/usr/local/mysql/bin/mysqlbinlogmysql-bin.00001*--base64-output="decode-rows"-v--start-datetime=‘2011-08-0915:11:00‘--stop-datetime=‘2011-08-0915:15:00‘>binlog.tx
分类：
数据库 时间：
2019-08-26 09:33:44
阅读次数：
111
首先, 要有一个可用的mysql, 安装步骤在这里不表了, 之前文章里有一篇介绍安装的. 1. 开启binlog. 为了可以从binlog里恢复, 首先要开启记录binlog: 添加如下几行: 修改好之后, 重启mysql服务: 好了, 现已开启了binlog了, 可以在 /var/lib/mysq ...
分类：
数据库 时间：
2019-08-25 16:26:15
阅读次数：
159
转自：https://www.cnblogs.com/shoshana-kong/p/10516404.html 知识点总结 1.数据库默认隔离级别: mysql repeatable,oracle,sql server read commited 2.mysql binlog的格式三种：state ...
分类：
数据库 时间：
2019-08-25 15:44:14
阅读次数：
136
1.binlog日志类型 Statement 只记录执行的sql语句，磁盘占用少，但是恢复的时候容易出问题。InodeDB不能使用Statement 。 Row 记录修改后的具体数据，磁盘占用较多 Mixed 上面两种混合，mysqlsql根据具体情形，选择较好的方案 查看当前的类型： show v ...
分类：
数据库 时间：
2019-08-23 19:35:00
阅读次数：
153
保证数据的ACID 1.sync_binlog=1（二进制安全性） 用于保证事务commit前，binary log从日志缓冲中flush到磁盘进行操作的binary log commit group的数量，0表示仅靠系统自有的刷新机制从系统缓冲中刷新到磁盘（取决于mysql实例所在系统的刷新IO ...
分类：
其他好文 时间：
2019-08-23 19:32:38
阅读次数：
143
第1章 redis存储系统 1.1 redis概述 REmote DIctionary Server（Redis）是一个基于key-value键值对的持久化数据库存储系统。redis和大名鼎鼎的Memcached缓存服务软件很像，但是redis支持的数据存储类型比memcached更丰富，包括str ...
分类：
数据库 时间：
2019-08-22 23:56:55
阅读次数：
202
