一、配置文件 1、server.xml Mycat的配置文件，设置账号、参数等2、schema.xml Mycat对应的物理数据库和数据库表的配置3、rule.xml Mycat分片（分库分表）规则 4、wrapper.conf--配置jdk wrapper.java.command=D:/Prog ...
分类：
其他好文 时间：
2019-09-08 09:39:15
阅读次数：
177
本文借鉴：Oracle亿级数据查询处理、Oracle 分区表使用和查询、垂直分区+水平分区（特此感谢！） 一、前言 大数据量的查询，不仅查询速度非常慢，而且还会导致数据库经常宕机，在尝试添加索引及查询方式修改后，还有没有更有效的解决方案呢？ 分库、分表、分区这些概念咱就应该了解一下。 二、分表 假如 ...
分类：
数据库 时间：
2019-09-06 23:01:55
阅读次数：
131
一、分表： 水平分表：根据条件把数据分为N个表（例如：商品表中有月份列，则可以按月份进行水平分表）。 使用场景：一张表中数据太多，查询效率太慢。 当需要同时查询被水平分表的多张表时： 在两条SQL语句中间加union,就能把两表数据合并展示。 union:数据合并时去重。 Union all:数据合 ...
分类：
数据库 时间：
2019-09-06 01:40:30
阅读次数：
123
一、MySQL会遇到的问题： 1、高并发的读写效率低问题 解决方案：集群，分布式。 2、海量数据的读写效率低问题 解决方案：分表，分库。 3、高可用和高扩展 解决方案：动态扩展服务器、防止单点故障、容灾。 二、关系型数据库优化：（原则：先单机，后多机。） 2.1 单机优化方案： 1.慢SQL的定义- ...
分类：
数据库 时间：
2019-09-05 23:24:53
阅读次数：
110
经常有人会问：能介绍下你做过最复杂的系统吗？对此，你被人问起过吗，你思考过什么标准才算复杂吗？系统的复杂性包括了技术复杂性和业务复杂性。有人抱怨道：我做的系统一点都不复杂，你看我们数据量不大，用不上分库分表，业务也不复杂，单体系统就够了，什么负载均衡和集群也没有，流量也不大，高并发和分布式也没接触过。何为技术复杂性，我上面提到的都算，随着业务的发展，我们的系统架构需要支持大数据和高并发，因此复杂的
分类：
其他好文 时间：
2019-09-02 14:12:26
阅读次数：
118
1、 2、 3、 4、 5、 6、 7、 8、 9、 10、 11、 12、 13、 14、 15、 16、 17、 18、 ...
分类：
其他好文 时间：
2019-09-01 23:36:26
阅读次数：
94
本文源码：GitHub·点这里||GitEE·点这里一、水平分割1、水平分库1)、概念：以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。2)、结果每个库的结构都一样；数据都不一样；所有库的并集是全量数据；2、水平分表1)、概念以字段为依据，按照一定策略，将一个表中的数据拆分到多个表中。2)、结果每个表的结构都一样；数据都不一样；所有表的并集是全量数据；二、Shard-jdbc中间件1、
分类：
数据库 时间：
2019-08-31 23:21:41
阅读次数：
110
简单介绍下python的几个自动求导工具，tangent、autograd、sympy； 在各种机器学习、深度学习框架中都包含了自动微分，微分主要有这么四种： 手动微分法、数值微分法、符号微分法、自动微分法 ，这里分别简单走马观花（hello world式）的介绍下下面几种微分框架； sympy 强 ...
分类：
编程语言 时间：
2019-08-29 09:22:17
阅读次数：
80
一个系统发展初期，往往都是单机系统。应用和数据库在一台服务器上，随着业务的发展，访问量的增大，一台服务器性能就会出现天花板，往往已经难以支撑业务量了。这个时候就要考虑把数据库和应用服务器分开，访问继续增加，就会考虑数据库分库分表，应用服务器做负载均衡，其实这也属于分布式系统的一个范畴。分布式系统的核心概念就是一个“分”字，一台服务器支撑不住，那就两台，三台，四台....当然分之后会带来其他问题，比
分类：
数据库 时间：
2019-08-28 17:10:54
阅读次数：
134
分库分表 数据切分 通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。 数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为 ...
分类：
数据库 时间：
2019-08-28 10:36:53
阅读次数：
104
