MySQL作为最流行的关系型数据库产品之一，当数据规模增大遭遇性能瓶颈时，最容易想到的解决方案就是分库分表。无论是进行水平拆分还是垂直拆分，第一步必然需要数据迁移与同步。由此可以衍生出一系列数据迁移过程中的需求：1.原本一张表迁移到单库多表（或多库多表），这是最基本的需求；2.原本单库多表（或多库多 ...
分类：
数据库 时间：
2019-06-14 09:22:36
阅读次数：
138
同步部分数据有两个思路，1.master只发送需要的;2.slave只接收想要的。 同步部分数据有两个思路，1.master只发送需要的;2.slave只接收想要的。 master端： master端： binlog-do-db 二进制日志记录的数据库(多数据库用逗号，隔开) binlog-do-d ...
分类：
数据库 时间：
2019-06-13 13:30:51
阅读次数：
141
摘要：有赞搜索平台是一个面向公司内部各项搜索应用以及部分 NoSQL 存储应用的 PaaS 产品，帮助应用合理高效的支持检索和多维过滤功能，有赞搜索平台目前支持了大大小小一百多个检索业务，服务于近百亿数据。 在为传统的搜索应用提供高级检索和大数据交互能力的同时，有赞搜索平台还需要为其他比如商品管理、 ...
分类：
其他好文 时间：
2019-06-06 20:53:11
阅读次数：
103
mysql中的分库分表分库：减少并发问题分表：降低了分布式事务分表1、垂直分表把其中的不常用的基础信息提取出来，放到一个表中通过id进行关联。降低表的大小来控制性能，但是这种方式没有解决高数据量带来的性能损耗。优点1、拆分后业务清楚，达到专库专用。2、可以实现热数据和冷数据的分离，将不经常变化的数据 ...
分类：
数据库 时间：
2019-06-06 00:04:19
阅读次数：
119
引言 对于一个大型的互联网应用，海量数据的存储和访问成为了系统设计的瓶颈问题，对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。 ?水平切分数据库：可以降低单台机器的负载，同时最大限度的降低了宕机造成的损失； ?负载均衡策略：可以降低 ...
分类：
数据库 时间：
2019-05-31 19:50:51
阅读次数：
172
产生背景 1、随着业务和数据量的增长、单机服务器已无法支撑2、数据库的主从复制、读写分离3、分库分表、水平拆分、垂直拆分、缓存、集群易扩展大数据量性能（基于内存）4、NoSql应运而生 特点 大数据量性能（基于内存） 灵活的数据模型结构 关系型数据库 VS NOSQL 5、NoSql的四大分类 键值 ...
分类：
数据库 时间：
2019-05-31 13:35:48
阅读次数：
120
停机扩容（不推荐） 这个方案就跟停机迁移一样，步骤几乎一致，唯一的一点就是那个导数的工具，是把现有库表的数据抽出来慢慢倒入到新的库和表里去。但是最好别这么玩儿，有点不太靠谱，因为既然分库分表就说明数据量实在是太大了，可能多达几亿条，甚至几十亿，你这么玩儿，可能会出问题。 从单库单表迁移到分库分表的时 ...
分类：
其他好文 时间：
2019-05-26 17:58:22
阅读次数：
143
停机迁移方案 我先给你说一个最 low 的方案，就是很简单，大家伙儿凌晨 12 点开始运维，网站或者 app 挂个公告，说 0 点到早上 6 点进行运维，无法访问。 接着到 0 点停机，系统停掉，没有流量写入了，此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具，此时直接跑起来，然后 ...
分类：
其他好文 时间：
2019-05-26 17:54:09
阅读次数：
117
基于数据库的实现方案 数据库自增 id 这个就是说你的系统里每次得到一个 id，都是往一个库的一个表里插入一条没什么业务含义的数据，然后获取一个数据库自增的一个 id。拿到这个 id 之后再往对应的分库分表里去写入。 这个方案的好处就是方便简单，谁都会用；缺点就是单库生成自增 id，要是高并发的话， ...
分类：
其他好文 时间：
2019-05-26 17:45:35
阅读次数：
131
为什么要分库分表?用过哪些分库分表中间件？不同的分库分表中间件都有什么优点和缺点？ ...
分类：
其他好文 时间：
2019-05-26 00:33:36
阅读次数：
136
