前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章:【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章:【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se ...
分类:
其他好文 时间:
2020-07-15 15:19:27
阅读次数:
60
前言 本篇只介绍跟 Kafka模式 相关的配置。 TCP模式 请参考文章:【Canal——增量同步MySQL数据到ElasticSearch】 高可用 请参考文章:【Canal——高可用架构设计与应用】 一、架构 二、canal-server 配置 修改canal 配置文件: vi /usr/loc ...
分类:
其他好文 时间:
2020-07-15 15:19:01
阅读次数:
133
(简答题)1.如果让你来设计数据仓库并搭建相关可视化报表,你会考虑哪些问题。 1. 数据推送方式与批次,是推送增量还是推送全量,是一天一次还是一天两次;2. 推送全量的就全删全插,推送增量的涉及到时间拉链的取法,是滚动时间还是平滑时间;3. 多次推送的还涉及到数据去重的问题;4. 从源端推送过来的数 ...
分类:
其他好文 时间:
2020-07-15 10:45:58
阅读次数:
180
每当行被更改时,时间戳字段将获取当前时间戳。 列设置为 AUTO INCREMENT 时,如果在表中达到最大值,会发生什么情况? 它会停止递增,任何进一步的插入都将产生错误,因为密钥已被使用。 怎样才能找出最后一次插入时分配了哪个自动增量? LAST_INSERT_ID 将返回由 Auto_incr ...
分类:
其他好文 时间:
2020-07-14 13:51:14
阅读次数:
128
1、设计良好的数据库结构,允许部分数据冗余,尽量避免 join 查询,提高效率。 2、选择合适的表字段数据类型和存储引擎,适当的添加索引。 3、MySQL 库主从读写分离。 4、找规律分表,减少单表中的数据量提高查询速度。 5、添加缓存机制,比如 memcached,apc 等。 6、不经常改动的页 ...
分类:
数据库 时间:
2020-07-14 13:47:54
阅读次数:
75
一 前言 中大型项目中,一旦遇到数据量比较大,小伙伴应该都知道就应该对数据进行拆分了。有垂直和水平两种。 垂直拆分 比较简单,也就是本来一个数据库,数据量大之后,从业务角度进行拆分多个库。如下图,独立的拆分出订单库和用户库。 水平拆分 是同一个业务数据量大之后,进行水平拆分 上图中订单数据达到了40 ...
分类:
其他好文 时间:
2020-07-14 00:18:56
阅读次数:
65
SyncNavigator是一款功能强大的数据库同步软件,适用于SQL SERVER, MySQL,具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能,支持Windows xp以上所有操作系统,适用于大容量数据库快速同步。 安装包下载地址:https:// ...
分类:
其他好文 时间:
2020-07-13 21:51:40
阅读次数:
183
SyncNavigator是一款功能强大的数据库同步软件,适用于SQL SERVER, MySQL,具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能,支持Windows xp以上所有操作系统,适用于大容量数据库快速同步。 安装包下载地址:https:// ...
分类:
其他好文 时间:
2020-07-13 21:48:13
阅读次数:
102
SyncNavigator是一款功能强大的数据库同步软件,适用于SQL SERVER, MySQL,具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能,支持Windows xp以上所有操作系统,适用于大容量数据库快速同步。 安装包下载地址:https:// ...
分类:
数据库 时间:
2020-07-13 21:47:40
阅读次数:
76
SyncNavigator是一款功能强大的数据库同步软件,适用于SQL SERVER, MySQL,具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能,支持Windows xp以上所有操作系统,适用于大容量数据库快速同步。 安装包下载地址:https:// ...
分类:
数据库 时间:
2020-07-13 21:27:56
阅读次数:
153