数据分库后报表只能做 T+1 或 T+n 查询，业务需要的 T+0 实时查询往往无法满足。原因是分库（异构库）后的 SQL 没法写，通过硬编码实现的复杂度又太高。本文将介绍一种简单的方式：使用润乾报表快速实现冷热数据分离后的全量 T+0 实时查询。 ...
分类：
其他好文 时间：
2020-04-06 09:28:47
阅读次数：
99
"TOC" 一、为什么要做分库分表 在数据爆炸的年代，单表数据达到千万级别，甚至过亿的量，都是很常见的情景。这时候再对数据库进行操作就是非常吃力的事情了，select个半天都出不来数据，这时候业务已经难以维系。不得已，分库分表提上日程，我们的目的很简单， 减小数据库的压力，缩短表的操作时间 。 二、 ...
分类：
其他好文 时间：
2020-04-03 19:51:46
阅读次数：
96
整理了一些Java方面的架构、面试资料（微服务、集群、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取 "一口气说出 9种 分布式ID生成方式，面试官有点懵了" "面试总被问分库分表怎么办？你可以这样怼他" "一口气说出 6种 @Transactional 注解失效场 ...
分类：
其他好文 时间：
2020-03-31 19:09:30
阅读次数：
65
性能优化： 数据库缓存、热点数据放到缓存。 数据库垂直拆分、不同的数据放到不同的数据库中存储。 主从复制、给数据库添加备份库。 读写分离。写数据库到主库，读数据到备份库。 配置集群。 分库：将热点数据放到一个库，将冷数据放到另外数据库。 分表：将同一张表的数据放到不同的库中的相同表。例如：按照 id ...
分类：
其他好文 时间：
2020-03-30 21:40:00
阅读次数：
69
产生原因 1.当数据达到了上亿级别单个库使用效率性能是十分低下的，当进行查询等操作时候，也是从根节点去找到子节点然后在找到叶节点 ， 数亿条取一条数据 性能就不是很迅速，而且单机的存储量，链接数，并发量，处理能力十分有限。 这个时候数据库就容易遇到了系统瓶颈， 所以为了 降低性能，缩短查询时间，减少 ...
分类：
数据库 时间：
2020-03-28 10:38:18
阅读次数：
90
目录 14高性能数据库集群：读写分离 15高性能数据库集群：分库分表 分库 分表 垂直分表 水平分表 实现方式 16高性能NoSQL 17高性能缓存架构 缓存使用场景 缓存使用常见问题 缓存穿透 缓存雪崩 缓存热点 实现方式 18单服务器高性能模式：PPC与TPC 19单服务器高性能模式：React ...
分类：
其他好文 时间：
2020-03-27 01:06:49
阅读次数：
66
Kafka Kafka是如何控制超时的？ 如何管理大量的topic，有哪些问题？ 零拷贝计数在Kafka中使用会有哪些副作用？ 为何大厂大规模实践中很少用Kafka？ 和其他MQ的比较：优缺点 多看源码 Mysql 项目中是如何分库分表保证服务不停机的 注册中心 注册中心需要满足CAP理论中的哪两个 ...
分类：
其他好文 时间：
2020-03-26 19:18:10
阅读次数：
56
一、什么是分库分表 分表 比如你单表都几千万数据了，你确定你能扛住么？绝对不行，单表数据量太大，会极大影响你的 sql 执行的性能，到了后面你的 sql 可能就跑的很慢了。一般来说，就以我的经验来看，单表到几百万的时候，性能就会相对差一些了，你就得分表了。 分表是啥意思？就是把一个表的数据放到多个表 ...
分类：
其他好文 时间：
2020-03-26 17:44:04
阅读次数：
92
#!/bin/bash BACK_TIME=`date +"%F-%H":%M:%S` # 备份脚本时间戳，也可以使用${date +"%F-%H":%M:%S} USER=root PASS=centos DATABASE=`mysql -u$USER -p$PASS -e 'show datab ...
分类：
数据库 时间：
2020-03-24 17:18:29
阅读次数：
87
一、数据库瓶颈 不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。 1、IO瓶颈 第一种：磁盘读IO瓶颈，热点数据太多，数据库缓 ...
分类：
数据库 时间：
2020-03-23 20:26:00
阅读次数：
86
