1.准备 1.1.组件 JDK：1.8版本及以上； ElasticSearch：6.x版本，目前貌似不支持7.x版本； Canal.deployer：1.1.4 Canal.Adapter：1.1.4 1.1.配置 需要先开启MySQL的 binlog 写入功能，配置 binlog-format 为 ...
分类：
数据库 时间：
2019-11-09 13:33:22
阅读次数：
159
Canal简介 Canal是阿里开源的一款基于Mysql数据库binlog的增量订阅和消费组件，通过它可以订阅数据库的binlog日志，然后进行一些数据消费，如数据镜像、数据异构、数据索引、缓存更新等。相对于消息队列，通过这种机制可以实现数据的有序化和一致性。 github地址：https://gi ...
分类：
其他好文 时间：
2019-11-09 12:04:07
阅读次数：
268
技术 1.以 MySQL 的 InnoDB 引擎为例，由于 MySQL 中有两套日志机制，一套是存储层的 redo log，另一套是 server 层的 binlog，每次更新数据都要对两个日志进行更新。为了防止写日志时只写了其中一个而没有写另外一个，MySQL 使用了一个叫两阶段提交的方式保证事务 ...
分类：
其他好文 时间：
2019-11-06 00:39:39
阅读次数：
75
mysql 8.0.18 手工安装记录 为了日常方便，特记录如下。 一、安装系统依赖包 #1、系统依赖包安装 yum -y install make gcc-c++ cmake bison-devel ncurses-devel readline-devel libaio-devel perl li ...
分类：
数据库 时间：
2019-11-05 18:37:15
阅读次数：
122
平台使用Rancher2.x问题原因是，一个测试用的mysql需要开启binlog日志，我想着这个不是挺简单的嘛~于是，papapa配置了一个config，挂载到对应的mysql配置文件下，然后重新部署一下~然而进容器一看，配置文件是挂载上了，可是配置却未生效。。具体如下：1、因为使用Rancher平台，所以配置及挂载这一步是在web端进行的（祸根。）。即添加一个configmap，覆盖掉原配置文件：#
分类：
数据库 时间：
2019-11-05 09:23:33
阅读次数：
480
转自：https://www.cnblogs.com/rjzheng/p/9619855.html#4365629 引言 大家在面试的时候，是否遭遇过，面试官询问 你们是如何进行数据库优化的? 那这个问题应该怎么答呢？其实写这个题材的原因是我这几天看到各公众号转的一篇数据库调优的知识（不上链接了）， ...
分类：
数据库 时间：
2019-11-03 10:21:35
阅读次数：
80
1、MySQL的复制原理以及流程 (1)、复制基本原理流程 1. 主：binlog线程——记录下所有改变了数据库数据的语句，放进master上的binlog中； 2. 从：io线程——在使用start slave 之后，负责从master上拉取 binlog 内容，放进 自己的relay log中； ...
分类：
数据库 时间：
2019-11-02 17:50:25
阅读次数：
109
大数据时代下的数据同步 1）、基于数据库日志(比如mysql的binlog)的同步 我们都知道很多数据库都支持了主从自动同步，尤其是mysql，可以支持多主多从的模式。那么我们是不是可以利用这种思想呢，答案当然是肯定的，mysql的主从同步的过程是这样的。 ? A、master将改变记录到二进制日志 ...
分类：
其他好文 时间：
2019-11-02 15:49:16
阅读次数：
80
1、详解MySql确保数据不丢失的原理及设计的亮点，参考这些亮点实现了2个常见的案例
2、案例1：电商账户高并发更新设计方案及具体实现，单账户并发更新TPS达到上千，设计思路非常值得借鉴
3、案例2：常见的跨库转账设计方案及具体实现，让大家熟练掌握一种分布式事务解决方案，过程非常详细
4、本文... ...
分类：
数据库 时间：
2019-10-29 11:59:55
阅读次数：
108
在Python中使用LSTM和PyTorch进行时间序列预测 ...
分类：
编程语言 时间：
2019-10-29 11:57:22
阅读次数：
101
