常见的优化数据库结构方法: 字段多的表分解多个表,分库分表 中间表 适当增加冗余字段 接下来具体说下分库分表。 1、垂直分表 表的相关性拆分不同的表,表现形式一张列比较多的表拆分多张子表。 特点: 多张子表需要主键,所以主键出现冗余 这种场景使用元表中,尤有些列常用,有些列不常用 查询所有数据要jo ...
分类:
数据库 时间:
2020-03-23 15:24:16
阅读次数:
92
数据异构指的是把数据按照需要异地构建存储。 其中一个应用场景是分库分表的时候。假如已经按照某个维度做了分库分表,新来一个需求,需要按照另外一个维度做分库分表,这个时候就需要数据异构了。 数据异构主要有两种方式,binlog方式和mq方式。binlog方式是指订阅mysql的binlog日志,解析这些 ...
分类:
其他好文 时间:
2020-03-21 18:07:27
阅读次数:
65
有一张财务流水表,未分库分表,目前的数据量为9555695,分页查询使用到了limit,优化之前的查询耗时16 s 938 ms (execution: 16 s 831 ms, fetching: 107 ms),按照下文的方式调整SQL后,耗时347 ms (execution: 163 ms, ...
分类:
其他好文 时间:
2020-03-21 17:52:29
阅读次数:
88
有一张财务流水表,未分库分表,目前的数据量为9555695,分页查询使用到了limit,优化之前的查询耗时16 s 938 ms (execution: 16 s 831 ms, fetching: 107 ms),按照下文的方式调整SQL后,耗时347 ms (execution: 163 ms, ...
分类:
数据库 时间:
2020-03-21 13:02:11
阅读次数:
91
1、什么是分布式事务 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释,简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么 ...
分类:
其他好文 时间:
2020-03-21 12:45:17
阅读次数:
52
原文地址:https://www.cnblogs.com/cn-sbo/p/10853469.html 高并发架构相关概念 并发:在操作系统中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任一个时刻点上只有一个程序在处理机上运行;在互联网时代,所 ...
分类:
其他好文 时间:
2020-03-16 14:30:14
阅读次数:
57
动态分库分表 1.方案简述 动态分库+取模分表的方式,解决扩容时数据迁移,分表数据热点问题。 根据数据库配置的规则来计算会路由到哪个数据库里面去。例:我对user表进行了分库分表。当user数据量小于30我就只插入db0这个数据库。大于30小于60我就插入db1这个数据库。 id | start|e ...
分类:
编程语言 时间:
2020-03-12 18:29:59
阅读次数:
63
传统基于单机的数据库技术已经无法支撑海量数据的访问处理,在此情况下,支持系统高扩展,强一致的分库分表Sharding架构的数据库集群GaussDB100应运而生。它采用Shared-nothing架构的分布式系统,它是由众多拥有独立且互不共享CPU、内存、存储等系统资源的逻辑节点组成。1、操作系统设置1.1内核参数[root@hwd10~]#/etc/sysctl.confkernel.sem=5
分类:
数据库 时间:
2020-03-11 12:35:25
阅读次数:
277
1、官网链接参考: https://shardingsphere.apache.org/document/current/cn/quick-start/sharding-jdbc-quick-start/ 感谢 ShardingSphere 团队! 2、首先建立测试的数据库表: (1)表结构如下: ...
分类:
数据库 时间:
2020-03-07 00:18:29
阅读次数:
159
整理了一些Java方面的架构、面试资料(微服务、集群、分布式、中间件等),有需要的小伙伴可以关注公众号【程序员内点事】,无套路自行领取 更多优选 "一口气说出 9种 分布式ID生成方式,面试官有点懵了" "面试总被问分库分表怎么办?你可以这样怼他" "3万字总结,Mysql优化之精髓" "为了不复制 ...
分类:
数据库 时间:
2020-03-04 12:58:52
阅读次数:
82