前言 移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据等这样的分析，都需要依靠数据统计和分析，当数据量小时，数据库方面的优化显得不太重要，一旦数据量越来越大，系统响应会变慢，TPS直线下降，直至服务不可用。 补充 在mysql中，每个数据库最多可创建20亿个表，一个表允许定义1024列， ...
分类：
数据库 时间：
2020-05-07 13:43:11
阅读次数：
140
谈到性能优化分析一般会涉及到： Java代码层面的，典型的循环嵌套等 还会涉及到Java JVM：内存泄漏溢出等 MySQL数据库优化：分库分表、慢查询、长事务的优化等 阿里P8架构师谈：MySQL慢查询优化、索引优化、以及表等优化总结 阿里P8架构师谈：架构设计之数据库垂直、水平拆分六大原则（数据 ...
分类：
其他好文 时间：
2020-05-07 13:38:17
阅读次数：
117
处理大数据量数据访问速度缓慢的问题 方案1 水平分库分表，比如根据年份划分， 数据库、 数据库等等 查询的时候根据查询时间，去不同的数据库查询，然后组合结果返回 示例代码 "HistoricalDataManage" 方案2 建立 和`实时数据库`，历史数据库存储所有数据，实时数据库仅保留常用数据 ...
分类：
其他好文 时间：
2020-05-06 21:35:33
阅读次数：
89
原文:.net core 基于Dapper 的分库分表开源框架（core-data） 一、前言 感觉很久没写文章了，最近也比较忙，写的相对比较少，抽空分享基于Dapper 的分库分表开源框架core-data的强大功能，更好的提高开发过程中的效率； 在数据库的数据日积月累的积累下，业务数据库中的单表... ...
分类：
移动开发 时间：
2020-05-06 01:13:54
阅读次数：
87
数据迁移的类型 随着业务的发展，存储也会经常性的需要迁移。以下场景是我们开发过程中经常遇到的 1. 业务、团队在快速扩张，需要适当时机进行微服务的拆分，需要独立的数据库，将数据从源数据库迁移到新的数据库 2. 单表的记录数比较大，需要进行分库分表。需要将老表的数据迁移到新的分表中。 3. 存储选型不 ...
分类：
其他好文 时间：
2020-05-04 13:13:58
阅读次数：
129
分库分表的方式：分库分表包括分库和分表两个部分，通常包括：垂直分库、水平分库、垂直分表、水平分表四种方式。 垂直分表： 垂直分表定义：将一个表按照字段分成多表，每个表存储其中一部分字段。 一般来说，某业务实体中的各个数据项的访问频次是不一样的，部分数据项可能是占用存储空间比较大的BLOB或是TEXT ...
分类：
其他好文 时间：
2020-05-02 15:13:07
阅读次数：
57
1、MyCAT介绍 MyCAT是数据库的中间层，可以帮助我们在高并发场景下的分库分表操作，以提升数据库的整体性能。 MyCAT是基于阿里的Cobar开发，每年双11的高并发场景。 对于数据库工程师来说 MyCAT相当于MySQL SERVER层 MySQL相当于MyCAT测存储层 MyCAT中不存储 ...
分类：
其他好文 时间：
2020-04-26 14:17:30
阅读次数：
66
高并发高可用架构演进 : 数据库、应用于一体?数据库与应用分离?数据库根据业务将表分到不同的库中?同一张表进行读写分离?表中数据根据需求分表 其中Mycat数据库中间件起到了读写分离,分库,分表的作用 1.解决的问题 读写分离 (Mysql主从复制)/分库分表 ? 多数据源 ? Java程序需要进行 ...
分类：
其他好文 时间：
2020-04-26 12:32:00
阅读次数：
76
背景： 公司内部的一个系统实现的时候用了分表，方案是开源的ShardingSphere 分表算法使用了100取模，100张表嗯嗯数据量太大，对于历史数据还使用了定时任务迁移。这些架构设计会在另一篇文章详谈。 故障： 某日，数据库告警，cup报警，发现多条慢查询日志（部分查询高达8分钟...），进而导 ...
分类：
数据库 时间：
2020-04-23 18:56:15
阅读次数：
76
核心文件： server.xmlschema.xmlrule.xml 垂直拆分 （1）将一个库中数据表拆分到对应的库中，完成垂直拆分 比如原始项目库中包含用户、订单、商品模块的数据表，现在按照模块分别建立数据库，将数据库中数据表拆分到对应数据库中，完成垂直拆分（微服务模式就已经做了垂直拆分） （2） ...
分类：
其他好文 时间：
2020-04-18 14:16:13
阅读次数：
81
