#!/bin/bash
MYUSER=root
MYPASS=password
SOCKET="/var/lib/mysql/mysql.sock"
MYCMD="mysql-u$MYUSER-p$MYPASS"
MYDUMP="mysqldump-u$MYUSER-p$MYPASS"
BACKUP_DIR="/work/backup/mysql"
fordatabasein`$MYCMD-e"showdatabases;"|sed‘1,2d‘|egrep-v"mysql|schema"`
do
if[!-..
分类:
数据库 时间:
2015-04-28 18:57:14
阅读次数:
220
数据库分库分表(sharding)系列目录;(一) 拆分实施策略和示例演示(二) 全局主键生成策略(三) 关于使用框架还是自主开发以及sharding实现层面的考量(四) 多数据源的事务处理(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案(一) 拆分实施策略和示例演示第一...
分类:
数据库 时间:
2015-04-26 13:41:10
阅读次数:
197
优化时机一般单表超过500万左右,或明显感觉到性能下降时,需要优化优化方案
读写分离
使用缓存,如memcached或Redis
使用搜索引擎,如ElasticSearch或solr
分库分表
详细说明
读写分离很容易实现,建议在一开始做,不必等到性能下降时
发现性能下降时可做。比如有一张500万大表,不可能缓存全表,只能缓存热点数据,所以需要有一个监控热点数据的功能
像缓存整个大表或者数据量很大可...
分类:
数据库 时间:
2015-04-09 08:59:05
阅读次数:
119
mysql中间件研究(Atlas,cobar,TDDL)mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有...
分类:
数据库 时间:
2015-04-07 13:31:57
阅读次数:
225
一个实例中有若干个库,其中部分库中都有一个名为config的表,那么如何判断config表在整个实例中出现多少次呢?可以使用sp_msforeachdb,下面是一个例子:EXEC master.sys.sp_MSforeachdb 'use [?];IF EXISTS(SELECT * FROM s...
分类:
其他好文 时间:
2015-04-02 14:58:54
阅读次数:
134
全局ID的重要性体现在sharding的时候gtid MySQL:global transaction iduuid:universally unique identifierguid:global universally unique identifier自增idGUID(全局统一标识符) 分库分...
分类:
其他好文 时间:
2015-03-15 16:38:17
阅读次数:
120
最近开始在看discuzx3.1的代码,看到数据库层的实现,discuzx的数据库层能够支撑数据库分库,分布式部署,主要水平分表,也可以很方便的支持其他数据库。性能上,可以做读写分离,支持数据缓存。可以说,是一个很完善的数据库层的解决方案了。数据库层分为三层,业务逻辑层封装,抽象层,和驱动层。如图:...
分类:
数据库 时间:
2015-03-12 11:18:10
阅读次数:
169
转载一篇博客,里面有很多的知识和思想值得我们去思考。——————————————————————————————————————————————————————————————————————在大型互联网应用中,随着用户数的增加,为了提高应用的性能,我们经常需要对数据库进行分库分表操作。在单表时代,...
分类:
数据库 时间:
2015-03-08 18:41:39
阅读次数:
195
报表项目中,可能会出现报表源数据来自于不同数据库的情况。这是因为同一张报表可能会从多个业务系统取数据。例如:员工信息从人力资源系统中取出,销售数据从销售系统中取出。还有一种可能是,同一应用系统的数据库负载太大,不得已分成多个数据库的情况。例如:销售系统数据..
分类:
其他好文 时间:
2015-03-06 17:20:25
阅读次数:
190
设计一个系统的时候,要考虑到各个方面的性能。只有在各个环节做好性能 优化,最终才能搭建一个性能良好的系统。 先只单说数据库性能优化。我用到的数据库就是MySQL,就谈MySQL性能优化。 拿到一个系统设计需求,在数据库设计方面,首先考虑的问题是数据量有多少,是否需要分库分表。分库,由于数据量...
分类:
其他好文 时间:
2015-03-05 12:43:56
阅读次数:
187