Canal是阿里的开源工具，用于同步MySQL数据库变更。 可以监听数据库的变化，从而获取新增数据，或者修改的数据。 Canal在项目中用于数据增量同步操作，可以将数据同步到redis，其他MySQL，ES等。 可用于首页广告缓存，网站公布，商品数据，击穿缓存更新，商品数据缓存更新，ES（索引库数据 ...
分类：
其他好文 时间：
2020-07-13 14:02:28
阅读次数：
63
废话不多说,先来看ggserr.log报错部分 是replicate进程应用的时候报错 2020-07-09 17:05:31 INFO OGG-00996 Oracle GoldenGate Delivery for Oracle, rep_zwa.prm: REPLICAT REP_ZWA st ...
分类：
其他好文 时间：
2020-07-13 11:43:30
阅读次数：
123
PXC集群介绍 Percona XtraDB Cluster是业界主流的MySQL集群方案 PXC集群的数据同步具有强一直性的特点 PXC集群只支持InnoDB引擎 数据库也能运行在Docker中 MySQL放在容器中运行会不会有性能损耗？ 因为Docker是轻量级的虚拟机，Docker既没有虚拟硬 ...
分类：
其他好文 时间：
2020-07-12 20:23:26
阅读次数：
59
因OracledblinkBUG导致每次查询大量数据的时候无法查询，现在通过datax直接将重要数据同步过来。datax的文档还是很齐全的，这里走了许多弯路。{"job":{"setting":{"speed":{"channel":5}},"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"selectuser"
分类：
数据库 时间：
2020-07-12 13:52:21
阅读次数：
89
rsync未授权访问漏洞简介 rsync是Linux/Unix下的一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件和目录，默认运行在873端口。由于配置不当，导致任何人可未授权访问rsync，上传本地文件，下载服务器文件。 rsync未授权访问带来的危害主要有两个：一是造成了严重的 ...
分类：
其他好文 时间：
2020-07-10 15:13:22
阅读次数：
292
应用场景，每天定时执行数据同步的所有的存储过程；先写一个同步数据的总的存储过程，具体代码如下： create or replace procedure run_all_sync_proc is begin Sync_Bank_TPEB_BS_SGMT;--基础信息表TPEB_BS_SGMT sync ...
分类：
数据库 时间：
2020-07-06 20:27:58
阅读次数：
98
整个集群完成 Leader 选举之后，Learner（Follower 和 Observer 的统称）回向 Leader 服务器进行注册。当 Learner 服务器想 Leader 服务器完成注册后，进入 数据同步环节。数据同步流程：（均以消息传递的方式进行）Learner 向 Learder 注册 ...
分类：
其他好文 时间：
2020-07-04 13:46:33
阅读次数：
75
Zookeeper集群完成Leader选举后，会进行Leader和Follower的数据同步（或叫状态同步），完成同步是保证服务器数据一致，可以提供服务的前提，接下来记录下Zookeeper数据同步相关的内容，主要参考文末书籍和博文。 数据同步分类 Zookeeper中数据同步一共有四类，如下。 D ...
分类：
其他好文 时间：
2020-07-03 00:40:01
阅读次数：
72
现阶段需要做数据库同步工作，目前调研了两个工具datax和kettle 这两者各有优缺点，基本的就不总结了。现在说说一些关键点： 基本方面： 1.datax适合做数据同步工作；kettle适合数据清洗，转换工作 目前成型的可视化界面，datax推荐datax web，kettle后期维护用的界面推荐 ...
分类：
其他好文 时间：
2020-07-01 12:14:39
阅读次数：
421
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等众所周知，消息队列在收发两端，主要是依靠业务代码，配合请求确认的机制，来保证消息不会丢失的。而在服务端，一般采用持久化和复制的方式来保证不丢消息。把消息复制到多个节点上，不仅可以解决丢消息的问题，还可以保证消息服务的高可用。即使某一个节点宕机了，还可以继续使用其他节点来收发消息。所以大部分生产系统，都会把消息队列配置成集群模式
分类：
其他好文 时间：
2020-07-01 09:56:57
阅读次数：
58
