17.1 MySQL主从介绍MySQL主从介绍 MySQL主从又叫做Replication、AB复制。简单讲就是A和B两台机器做主从后，在A上写数据，另外一台B也会跟着写数据，两者数据实时同步的。 MySQL主从是基于binlog的，主上须开启binlog才能进行主从。 主从过程大致有3个步骤: 主将更改操作记录到binlog里; 从将主的binl
分类：
其他好文 时间：
2018-06-29 01:15:33
阅读次数：
171
MySQL主从介绍?MySQL主从又叫做Replication、AB复制。简单讲就是A和B两台机器做主从后，在A上写数据，另外一台B也会跟着写数据，两者数据实时同步的?MySQL主从是基于binlog的，主上须开启binlog才能进行主从。复制的基本过程如下：1)、Slave上面的IO_thread连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容；2)、Mas
分类：
数据库 时间：
2018-06-28 20:23:04
阅读次数：
211
一、无差异同步数据1.首先，在实践实时同步之前我们先来了解一下rsync无差异同步无差异推送数据加--delete1）备份--delete风险本地有，远端就有。本地没有远端有也会删除，服务器端的目录数据可能会丢失无差异拉取数据2）代码发布、下载--delete风险远端有，本地就有。远端没有的本地有也会删除，本地的目录数据可能丢失ps:上图会将远程端的/hzftp/test里的文件完全克隆到客户端的
分类：
其他好文 时间：
2018-06-27 16:45:26
阅读次数：
198
系统备份和恢复 备份数据的方式： 1、cp 和 scp 2、rsync 远程实时同步 3、dump工具 备份一个分区 4、商业的备份软件 dump工具： 1、dump工具只支持备份分区，不支持备份目录或者文件 2、dump工具支持ext2~ext4的文件系统类型 备份级别： 0：全量备份 非0：增量 ...
分类：
其他好文 时间：
2018-06-18 01:14:34
阅读次数：
174
部署rsync服务 三。安装 yum安装rsync软件包： yum -y install rsync 源码包安装 wget https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz tar -xzf rsync-3.1.2.tar.gz cd r ...
分类：
其他好文 时间：
2018-06-14 11:44:50
阅读次数：
225
根据太保家园项目的最终目标，在一期建设中，需要将太平洋保险集团下属的寿险，产险，车险等30多个核心系统数据，通过实时同步复制的方式，统一集中到大数据平台。其中涉及数据的转换，标化，清洗，去重等一系列过程，具体需求如下：
1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。
2、 确保数据复制的实时性（秒级）和数据的准确性
3、 复制的数据需要加上时间，操作类型等标签，便于后端应用识别
4、 以生产环境的dg库作为数据的汇聚源端，减轻对生产库的影响
5、 入kafka的数据格式可灵活配置，以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能，便于核对数据的准确性
分类：
数据库 时间：
2018-06-13 15:14:53
阅读次数：
1371
在谈到mysql主从同步前，我们先来了解下普通文件的数据同步。 普通文件的数据同步 1.NFS网络文件共享可以同步存储数据 2.samba共享--windows平台 3.定时任务或守护进程结合rsync，scp 4.inotify+rsync实时同步 5
分类：
数据库 时间：
2018-06-11 11:53:30
阅读次数：
222
项目有文件实时同步备份的需求，做了一下调查，比较好的解决方法是使用lsyncd工具。这里主要记录一下遇到的问题及解决方法。 lsyncd 的相关介绍和对比可见： lsyncd实时同步搭建指南——取代rsync+inotify Linux下同步工具inotify+rsync使用详解 lsyncd官方文 ...
分类：
其他好文 时间：
2018-06-06 21:42:42
阅读次数：
169
