最近在做binlog日志采集同步到数据平台的事。刚开始需要借助sqoop将从库数据表数据初始化到hbase中，整个过程都需要自动化进行，尽量减少人为干预。但是，由于历史原因，线上存在两种字符集格式的数据库（表），而导入到hbase的数据我们需要统一采用utf-8格式存储。sqoop直接导入的话，没法控制中文字符转码工作。所以需要对sqoop源码进行简单改动支持这种方式。
大体思路是，通过定义一个...
分类：
数据库 时间：
2014-09-11 19:26:02
阅读次数：
573
一.安装环境centos6.5192.168.1.100Amoeba-mysqlcentos6.5192.168.1.101mysql-主centos6.5192.168.1.102mysql-从二.Mysql主从配置在主MySQL192.168.1.101上配置Vim/usr/local/mysql/etc/my.cnfserver-id=1主库一定要比从库的数字小binlog-do-db=backup从库从主库同步的数据库库..
分类：
数据库 时间：
2014-09-03 18:26:07
阅读次数：
440
用过 xtrabackup 工具的 innobackupex 脚本备份数据的人可能会注意到，–apply-log 处理过的备份数据里有两个文件说明该备份数据对应的 binlog 的文件名和位置。但有时这俩文件说明的位置可能会不同。经过实验和询问 Percona 公司，结论如下：1 对于纯 InnoD...
分类：
数据库 时间：
2014-09-01 21:01:13
阅读次数：
263
ActiveMQ中如果使用mysql innodb的同时，开启了binlog，那么在ack消息的时候，日志里就可会报错：java.sql.SQLException: Cannot execute statement: binlogging impossible since BINLOG_FORMAT = STATEMENT and at least one table uses a storage...
分类：
数据库 时间：
2014-08-27 14:50:47
阅读次数：
2492
出于公司的业务原因，既不能保留固定天数的日志，又不能让磁盘空间站满，所以只能手动删除binlog使用mysql自带的PURGE命令PURGEMASTERLOGSTO‘mysql-bin.000002‘;删除002之前（不包括002）的binlog日志，[root@DBmasterdata]#lsDBmaster.test.errib_logfile0localhost.pidmysql-..
分类：
数据库 时间：
2014-08-27 11:10:18
阅读次数：
196
说明：现在的场景是，采用数据库（Mysql）复制（binlog）的方式在两台不同服务器部署并配置主从（Master-Slave）关系； 并需要程序上的数据操作方法来访问不同的数据库，比如，update*方法访问主数据库服务器，q...
分类：
数据库 时间：
2014-08-26 17:51:56
阅读次数：
377
mysqlbinlog :unknown variable 'default-character-set=gbk'解决方法：在命令行中加入--no-defaults开关，使用mysqlbinlog --no-defaults binlog文件参见：http://blog.csdn.net/cau99...
分类：
数据库 时间：
2014-08-22 14:22:39
阅读次数：
282
Rem Backup Mysql Binlog
Rem Backup Yesterday and RAR
Rem Backup every day 00:01 begin backup yesterday and now binlog @set curPath=%~dp0
@set SourcePa...
分类：
其他好文 时间：
2014-08-22 10:45:55
阅读次数：
318
关键配置：关闭binlog 环境：8G的sql文件，300多个InnoDB数据表，（用MysqlWorkbench导出的数据，用HeidiSql导入，因为正式环境是mysql，可以用MysqlWorkbench，而MariaDB用不了导出，要用HeidiSql，直接用mysql...
分类：
数据库 时间：
2014-08-21 21:20:45
阅读次数：
556
在mysql5.5之前，mysql复制是异步操作，主库和从库的数据之间存在一定的延迟，这样存在一个隐患，当主库上写入一个事物并提交成功，而从库尚未得到主库推送的binlog日志时，主库宕机了，例如主库可能因为磁盘损坏，内存故障等造成主库上该事务binlog丢失，此时，从库就可能损失这个事务，从而造成...
分类：
其他好文 时间：
2014-08-21 19:00:34
阅读次数：
154
