一.为什么要进行分库分表 高并发,请求太多,扛不住了。(比如一台单机一般最好不要超过2000/s的QPS,高峰时期有8000QPS,这时候就要利用分库分表、消息中间件、数据库中间件、异步写来缓解服务器压力) 单机磁盘容量快满了 单表数据量太大,SQL越跑越慢 二. 分库分表中间件有哪些,优缺点 ? ...
分类:
其他好文 时间:
2019-12-08 17:32:36
阅读次数:
121
原文:https://www.cnblogs.com/butterfly100/p/9034281.html 复制过来收藏 数据库分库分表思路 一. 数据切分 关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即 ...
分类:
数据库 时间:
2019-12-06 13:12:33
阅读次数:
139
# ### part1 索引树高度 # 1.表的数据行 数据量越大,树的高度就会变高,理论上3层索引树高度可以支持百万级别数据量 解决:可以使用分表,分库,数据库缓存,解决数据过大问题# 2.索引键值过长 该索引字段存储数据太大,每个叶子节点默认可以存储16k,超过范围增加叶子节点, 解决:前缀索引 ...
分类:
数据库 时间:
2019-12-01 22:37:03
阅读次数:
102
一.分分合合 说过很多次,不要拘泥于某一个技术的一点,技术是相通的。重要的是编程思想,思想是最重要的。当数据量大的时候,需要具有分的思想去细化粒度。当数据量太碎片的时候,需要具有合的思想来粗化粒度。 1.1 分 很多技术都运用了分的编程思想,这里来举几个例子,这些都是分的思想 集中式服务发展到分布 ...
分类:
数据库 时间:
2019-12-01 15:19:29
阅读次数:
118
在项目中,写的sql主要以查询为主,但是数据量一大,就会突出sql性能优化的重要性。其实在数据量2000W以内,可以考虑索引,但超过2000W了,就要考虑分库分表这些了。本文主要记录在实际项目中,一个需要查询很慢的sql的优化过程,如果有更好的方案,请在下面留言交流。 很多文章都有关于sql优化的方 ...
分类:
数据库 时间:
2019-12-01 09:38:59
阅读次数:
96
1 单机MySQL的美好时代2 Memcached(缓存)+MySQL+垂直拆分3 MySQL主从读写分离4 分库分表+水平拆分+mysql拆分5 MySQL的扩展瓶颈6 为什么使用NoSQLNoSQL的特性NoSQL数据库种类繁多,但是一个共同的特点就是去掉关系型特性数据之前无关系,这样就非常容易 ...
分类:
其他好文 时间:
2019-11-29 23:47:19
阅读次数:
88
一、什么是白盒测试 白盒测试是一种测试策略,这种策略允许我们检查程序的内部结构,对程序的逻辑结构进行检查,从中获取测试数据。白盒测试的对象基本是源程序,所以它又称为结构测试或逻辑驱动测试,白盒测试方法一般分为静态测试和动态测试。 二、如何去做白盒测试 网上很多介绍白盒测试的文章会提到白盒测试的方法有 ...
分类:
其他好文 时间:
2019-11-27 19:32:05
阅读次数:
466
一、为什么决定进行分库分表? 1. 根据业务类型,和业务容量的评估,来选择和判断是否使用分库分表 2. 当前数据库本事具有的能力,压力的评估 3. 数据库的物理隔离,例如减少锁的争用、资源的消耗和隔离等 4. 热点表较多,并且数据量大,可能会导致锁争抢,性能下降 5. 数据库的高并发,数据库的读写压 ...
分类:
其他好文 时间:
2019-11-25 18:44:15
阅读次数:
64
1、TDDL 注意:tddl2.0是2010年的版本,已经没有人维护了。当前版本是5.1.7,网上能够找到的最新版本。项目地址为:https://www.oschina.net/p/tddl5 淘宝根据自己的业务特点开发了TDDL(Taobao Distributed Data Layer 外号:头 ...
分类:
其他好文 时间:
2019-11-22 19:15:29
阅读次数:
82
月饼是中国人在中秋佳节时吃的一种传统食品,不同地区有许多不同风味的月饼。现给定所有种类月饼的库存量、总售价、以及市场的最大需求量,请你计算可以获得的最大收益是多少。 注意:销售时允许取出一部分库存。样例给出的情形是这样的:假如我们有 3 种月饼,其库存量分别为 18、15、10 万吨,总售价分别为 ...
分类:
其他好文 时间:
2019-11-21 12:22:38
阅读次数:
128