由于数据量以及IO效率的因素，很多项目对数据支持的数据库会采取分库分表的方式。使用了分库分表之后需要解决的一个问题就是主键的生成。多个表之间的主键就不能用数据库本身的自增主键来支持，因为不同表之间生成的主键会重复。所以需要其他的方式获取主键ID。 一般来说解决方案主要有三种： 考虑到扩展性和维护性， ...
分类：
数据库 时间：
2018-05-20 12:56:38
阅读次数：
182
数据库分库分表思路 https://www.cnblogs.com/butterfly100/p/9034281.html 一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引 ...
分类：
其他好文 时间：
2018-05-19 21:22:55
阅读次数：
163
读写分离 在settings中配置不同名称的数据库连接参数，并配置一条数据库选择路由 （1）第一种方法： 手动选择要使用的数据库 （2）方法二： 定义一下路由类，自动执行数据类 在seetings 中加入一条配置 class Router1: def db_for_read(self, model, ...
分类：
数据库 时间：
2018-05-19 17:04:50
阅读次数：
865
目录 什么是分布式系统 分布式系统挑战 分布式系统特性与衡量标准 组件、理论、协议 用一个请求串起来 一个简化的架构图 概念与实现 总结 references 分布式系统挑战 分布式系统特性与衡量标准 用一个请求串起来 一个简化的架构图 概念与实现 正文 虽然本人在前面也写过好几篇分布式系统相关的文 ...
分类：
其他好文 时间：
2018-05-15 14:01:39
阅读次数：
239
一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心 ...
分类：
数据库 时间：
2018-05-15 11:12:50
阅读次数：
259
一、目标 我们准备建立两个数据库：test、test2。 test包含两张表：1）t_user; 2) t_class test2包含一张表：2）t_user 如上，我们打算把t_user的数据均匀的分布到test和test2两个数据库里面，而t_class的数据仅分布到test一个数据库里面； 二 ...
分类：
其他好文 时间：
2018-05-13 01:09:29
阅读次数：
255
背景 当站点的规模不断膨胀，这给数据库带来巨大的查询压力，单单数据库性能优化已经是不够的，需对数据库进行伸缩扩展。有三种方式： 1、数据库主从 2、数据表分库（垂直分区） 3、数据分区（水平分区） PS：事实上，很多大规模的站点基本上经历了从简单主从复制到垂直分区，再到水平分区的步骤。 数据库主从 ...
分类：
数据库 时间：
2018-05-12 15:08:13
阅读次数：
181
1）准备测试数据：通过写脚本批量建库建表并插入测试数据。[root@aliyun scripts]# cat ceshi.sh #/bin/bashPATH="/usr/local/mysql/bin:$PATH" #定义mysql命令所在路径MY
分类：
数据库 时间：
2018-05-12 10:25:31
阅读次数：
183
查询 小结果集驱动大结果集 索引 单索引或联合索引均中，但尽量完全匹配 事务优化 尽量使用小事务 Schema 占空间大但访问频率低的字段，可拆至新表中 选择合适的字段类型 数据库中间件 MySQL Proxy；Amoeba 分库 接业务垂直拆分，拆分良好的业务完全可以直接拆分 拆分不太好的业务，模 ...
分类：
数据库 时间：
2018-05-04 15:22:43
阅读次数：
191
当生产环境中业务量激增，数据库数据量也会极具增加。当数据库的数据量达到一定程度时（数据库瓶颈），数据库宿主机负载超高，会严重影响业务，严重时会导致数据库宕机。为了避免这种极端情况的发生，我们应当在发生前做好预案，用于解决数据库数据量过载的问题。以下是我个人工作中使用的解决方案：1）数据库主从或多主多从方案2）数据库冷热数据拆分3）数据库分库分表操作4）在数据库前端增加缓存redis或memcach
分类：
数据库 时间：
2018-05-02 18:07:08
阅读次数：
225
