一.前言 因为工作关系，遇到了非常大的数据量的分页问题，数据总共有8000万吧，这个显然不是简单的分页能够解决的，需要从多多方面考虑，从分表、分库等等。但是这个也让我考虑到了分页性能的问题，在不同数据量的情况下，不同的分页方法效率是否会有不同。我在这里用比较常见的几种分页方法在不同的数据量、不同页码 ...
分类：
数据库 时间：
2018-05-31 21:59:30
阅读次数：
189
声明：本文并非原创，转自华为云帮助中心的分布式数据库中间件（DDM）服务的产品介绍。 分片是解决数据库存储容量限制的直接途径。分片包括垂直分片与水平分片两种方式。 垂直分片 垂直分片又叫纵向分割，即以逻辑表为单位，把原有数据库切分成多个数据库。切分后不同的表存储在不同的数据库上。 垂直分片与业务架构 ...
分类：
数据库 时间：
2018-05-28 18:56:49
阅读次数：
230
当今的数据处理大致可以分成两大类：联机事务处理OLTP（On-Line Transaction Processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数 ...
分类：
其他好文 时间：
2018-05-27 13:52:29
阅读次数：
188
前言 公司最近在搞服务分离，数据切分方面的东西，因为单张包裹表的数据量实在是太大，并且还在以每天60W的量增长。 之前了解过数据库的分库分表，读过几篇博文，但就只知道个模糊概念， 而且现在回想起来什么都是模模糊糊的。 今天看了一下午的数据库分库分表，看了很多文章，现在做个总结，“摘抄”下来。（但更期 ...
分类：
数据库 时间：
2018-05-25 00:24:30
阅读次数：
208
1、需求概述 每天00:00备份MySQL数据库数据； 每一个库生成一个文件，使用gzip压缩，文件名：backup_库名_yyyymmdd.sql.gz，注意yyyymmdd需要是前一天； 备份文件保存在/backup/mysql/下面，每天创建新的日备份数据目录yyyymmdd，注意是前一天 日 ...
分类：
数据库 时间：
2018-05-22 22:18:15
阅读次数：
211
参考文档 "MyCat权威指南" "MyCat项目主页" "学会数据库读写分离、分表分库——用Mycat，这一篇就够了！" MyCat安装 "Java SDK下载" （必须JDK7或更高版本） "MYSQL下载" （MyCat支持多种数据库接入 如：MYSQL、SQLService、Oracle、M ...
1、mysqldump的基本语法： 2、测试一下分库备份： 3、测试一下导出某个库的某张表 4、测试下只备份表结构，参数 "-d"： 5、只备份数据，参数 “-t” 6、全库备份，参数 “-A” [root@mysql backup]# mysqldump -uroot -pyuanqk -S /d ...
分类：
数据库 时间：
2018-05-20 22:47:10
阅读次数：
279
谢邀，这是个好问题，而且这个问题好在即使概念非常容易理解，但是这几个不同的概念细节太多太多，而且理解了概念，自己要用，又需要做很多的调研评估和开发工作。作为在这个领域爬坑多年的人，我这里就先介绍下概念，再提供几个开源工具和云服务吧。先来说这些架构解决的问题吧，传统数据库如Mysql（以下工具也会以M ...
分类：
数据库 时间：
2018-05-20 18:50:00
阅读次数：
204
首先来看分库分表，分库分表一般来说都是一起说的，但是实际上分库跟分表是有区别的，简单来说有垂直和水平两种方式，垂直就是将表按字段进行拆分，水平就是将表按照数据分布来做行拆分。具体的肯定还是有区别，本文不再进行阐述，主要介绍按照字段的分布进行数据行的拆分 本身理解来说Mycat实现的应该是分库，也就是 ...
分类：
其他好文 时间：
2018-05-20 13:04:30
阅读次数：
206
