码迷，mamicode.com
首页 > 数据库 > 详细

Mysql Fabric实现学习笔记(转载)

时间：2014-09-02 13:56:54      阅读：386      评论：0      收藏：0      [点我收藏+]

标签：des   style   http   color   os   io   使用   java   ar   

Mysql Fabric用来管理mysql服务，提供扩展性和容易使用的系统，管理mysql分片和高可用部署(当前实现了两个特性：高可用和使用数据分片的横向扩展，能单独使用或结合使用这两个特性。)。
 
架构图：
bubuko.com,布布扣
 
应用请求一个扩展的mysql连接器版本，使用XML-RPC协议访问Fabric，当前可以使用python和J连接器。Fabric管理启动GTIDs(全局事务标识)的mysql集合，检查和维护服务器之间的一致性。集合中的服务器叫高可用组。不属于Fabric高可用组的成员实例，叫备用存储(backing store)。
 
Fabric组织服务器在一个组(叫高可用组)，管理不同分片或简单提供高可用。例如如果使用标准异步复制，Fabric可以配置自动监控mysql服务状态。如果组中当前master错误，组中有一个服务器能变成master，它选择一个新的服务器做为master。
 
除了高可用操作如故障转移和切换，Fabric也允许分片操作，如分片创建和移除。
 
高可用和数据分片在两个层实现：
1、mysqlfabric进程处理任何管理请求，接收通过mysqlfabric命令行接口或其他支持XML/RPC接口的进程的管理任务。当使用HA特性，该进程能监控master服务器，当master故障时能进行故障恢复，提升一个slave为新的master。mysql服务器的状态存储在state store(一个mysql数据库实例)，mysqlfabric进程也复制给连接器提供存储路由信息；
 
2、应用代码使用mysql连接器访问数据库，从特定程序语言转换指令到Mysql wire protocol，与mysql服务器进程进行通信。Fabric-aware连接器存储从mysql fabric取来的路由信息缓存，使用这些信息发送事务或查询到正确的mysql服务器。当前支持Fabric-aware mysql连接器的有PHP、python和Java。该方法避免了发送所有查询到proxy引起的瓶颈。
 
高可用：
Mysql Fabric使用HA group管理两个或更多Mysql服务器，在任何时候，仅仅一个服务器为Primary(mysql master)，其他服务器为Secondaries(mysql slave)。使用Mysql复制(异步或半同步)允许数据安全的复制。
bubuko.com,布布扣
 
mysql fabric提供两个HA可用性功能：
1、故障检测和提升
fabric进程监控HA group中的mysql master，如果服务器错误，将选择一个slave并提升到master(HA group中所有其他slave将从新master接收更新)；
 
2、路由数据库请求
当fabric提升一个新的master，更新state store，新的路由信息将收录到连接器，并存储到缓存中。通过这种方式，应用不需要知道拓扑改变和写请求需要发送到不同的目标。
 
bubuko.com,布布扣
 
横向扩展-分片：
当因单个Mysql服务器(或HA group)因存储容量或写性能限制，mysql fabric能使用横向扩展数据库服务，分割数据到多个mysql服务器组。每个组可以是单个Mysql实例或HA group。
bubuko.com,布布扣
 
由管理员决定数据在服务器之间怎样进行分片，创建分片映射。
 
fabric支持两种shard key方法：
1、HASH
2、RANGE
 
当应用需要访问分片数据库，需要指定sharding key，Fabric-aware连接器将应用正确的range或hash映射和路由事务到正确分片；
 
mysql fabric能分离一个存在的分片到两个新的分片和更新state store，同时缓存路由数据到连接器。同时也支持从一个HA group移动分片到另外一个mysql服务组。
 
bubuko.com,布布扣
 
一个单事务或查询仅仅访问到单个shard，重要的选择shard keys基于理解数据和应用访问模式。
 
global tables写到‘global group‘，任何附加或改变到这些表的数据将自动复制到所有其他组。模式改变也属于global group，复制到所有其他服务器，确保一致性。
bubuko.com,布布扣
 
分片架构图：
bubuko.com,布布扣
 
Fabric使用python语言编写，包括一个特殊的库实现所有功能。与Fabric交互，一个特殊的工具mysqlfabric提供一套命令，使用它创建和管理组，定义和维护分片等。
 
Fabric前提需求：
1、Mysql server版本>= 5.6.10，需要支持GTID；
2、Python版本 >=   2.6；
3、python连接器 >=   1.2.1，J连接器 >=   5.1.27；
4、一个mysql实例(mysql版本必须为5.6或以上版本)用于安装backing store，该服务不是Fabric HA组的成员；
5、应用利用Fabric，必须有一个Fabric-aware连接器安装在运行应用的系统上；
 
安装Mysql Fabric：
环境：
bubuko.com,布布扣
 
下载Fabric链接：
 
下载页面：
 
安装：
  1. tar xvf mysql-utilities-1.4.4.tgz
  2. cd mysql-utilities-1.4.4
  3. python setup.py install
 
配置Mysql Fabric：
1、需要创建一个账号访问backing store，用户账号对数据库fabric必须有完全权限：
  1. # mysql -uroot -h172.17.0.49 -p
  2. MySQL [(none)]> grant all on fabric.* to fabric@‘172.17.42.1‘ identified by ‘fabric@123‘;
 
要保证用户root@‘%‘有with grant option授权，不然不能再给其他用户进行授权。
172.17.42.1为运行Fabric Node的服务器IP地址，根据实际情况进行替换，账号和密码也根据实际情况进行替换。
 
2、对fabric进行管理的所有mysql服务器，需要对所有数据库创建拥有完全权限的用户，Mysql Fabric使用同样的用户帐户访问到所有Mysql服务器进行管理：
  1. # mysql -uroot -h172.17.0.50 -padmin@123
  2. MySQL [(none)]> grant all on *.* to fabric@‘172.17.42.1‘ identified by ‘fabric@456‘;
  4. # mysql -uroot -h172.17.0.47 -padmin@123
  5. MySQL [(none)]> grant all on *.* to fabric@‘172.17.42.1‘ identified by ‘fabric@456‘;
  6. Query OK, 0 rows affected (0.00 sec)
  8. # mysql -uroot -h172.17.0.48 -padmin@123
  9. MySQL [(none)]> grant all on *.* to fabric@‘172.17.42.1‘ identified by ‘fabric@456‘;
  10. Query OK, 0 rows affected (0.00 sec)
 
建议不要使用root，为fabric创建单独的账号。
 
3、修改fabric配置文件：
默认配置文件：/usr/local/etc/mysql/fabric.cfg
在[storage]段设置backing store的用户账号和密码；
详细配置文件如下：
  1. # cat /etc/mysql/fabric.cfg    
  2. [DEFAULT] #如果请求的选项没有在命令行指定，或没有在配置文件找到，Fabric将查看该段的信息
  3. prefix = 
  4. sysconfdir = /etc #配置文件存放目录
  5. logdir = /var/log #日志文件存储位置，绝对路径，由守护进程创建
  7. [storage] #配置backing store相关的选项
  8. address = 172.17.0.49:3306 #指定state store的mysql实例地址和端口
  9. user = fabric #连接到mysql实例的用户名
  10. password = fabric@123 #认证密码，也能设置空密码
  11. database = fabric #存储Fabric表的数据库
  12. auth_plugin = mysql_native_password #设置使用的认证插件
  13. connection_timeout = 6 #中断请求之前等待的最大时间，单位秒
  14. connection_attempts = 6 #创建连接的最大尝试次数
  15. connection_delay = 1 #连续尝试创建连接之间的延时时间，默认1s
  17. [servers]
  18. user = fabric
  19. password = 
  21. [protocol.xmlrpc] #该段定义Fabric接收通过XML-RPC协议的请求
  22. address = 0.0.0.0:32274 #标识Fabric使用的主机和端口，接收XML-RPC请求
  23. threads = 5 #XML-RPC会话线程的并发创建数，决定多少并发请求Fabric能接受
  24. user = admin #用户名，认证命令行请求
  25. password = #用户密码，认证命令行请求
  26. disable_authentication = no #是否启用命令行请求需要认证，默认要认证
  27. realm = MySQL Fabric
  28. ssl_ca =  #使用ssl认证方式，指定PEM格式文件，包含信任SSL证书的列表
  29. ssl_cert =  #SSL认证文件，用于创建安全的连接
  30. ssl_key =  #SSL key文件
  32. [executor] #通过XML-RPC接收到的请求，映射到程序能立即执行或通过队列执行者,保证冲突的请求处理按序执行。通常读操作立即执行通过XML-RPC会话线程，写操作通过执行者
  33. executors = 5 #多少线程用于执行者
  35. [logging] #设置Fabric日志信息记录到哪里，如果不是开启为后台进程，将打印日志到标准输出
  36. level = INFO #日志级别，支持DEBUG，INFO，WARNING，ERROR，CRITICAL
  37. url = file:///var/log/fabric.log #存储日志的文件，能为绝对或相对路径(如是相对路径，将参照default段logdir参数指定的日志目录)
  39. [sharding] #Fabric使用mysqldump和mysql客户端程序，执行移动和分离shards，指定程序的路径
  40. mysqldump_program = /usr/bin/mysqldump
  41. mysqlclient_program = /usr/bin/mysql
  43. [statistics]
  44. prune_time = 3600 #删除大于1h的条目
  45.  
  47. [failure_tracking] #连接器和其他外部实体能报告错误，fabric保持跟踪服务器健康状态和采取相应的行为，如提升一个新的master，如果一个服务器时不稳定的，但不是master，将简单的标记为错误。
  48. notifications = 300 #多少次报告错误后，将标志服务器不可用
  49. notification_clients = 50 #多少不同源报告错误
  50. notification_interval = 60 #评估错误数的统计时间
  51. failover_interval = 0 #为了避免整个系统不可用，自上次提升间隔多少秒后，新master才能选取
  52. detections = 3 #为了缓解fabric，提供内建的错误检查，如果错误检查启动监控一个组，需要连续尝试3(默认)次访问当前master都错误后，才能提升新master，
  53. detection_interval = 6 #连续检查之间的间隔时间
  54. detection_timeout = 1 #错误检查程序尝试连接到一个组中服务器的超时时间
  55. prune_time = 3600 #在错误日志中保留多久的错误信息
  56.  
  58. [connector] #Fabric-aware连接器连接到Fabric，获取组、shards、服务器的信息，缓存结果到本地的时长，以提高性能。
  59. ttl = 1 #缓存生存时间，单位s，决定多长时间，连接器考虑一个信息从Fabric获取是有效的
  61. [client]
  62. password = 
 
4、State store创建fabric数据库和相关表：使用以上授权用户
  1. # mysqlfabric manage setup --param=storage.user=fabric --param=storage.password=fabric@123
  2. [INFO] 1409095183.577010 - MainThread - Initializing persister: user (fabric), server (172.17.0.49:3306), database (fabric).
  3. Finishing initial setup
  4. =======================
  5. Password for admin user is not yet set.
  6. Password for admin/xmlrpc: 
  7. Repeat Password: 
  8. Password set.
 
如果xmlrpc密码没有设置，将提示进行设置。
 
如果数据库已经存在，将报以下错：
[INFO] 1409095063.460048 - MainThread - Initializing persister: user (fabric), server (172.17.0.49:3306), database (fabric).
Error: ("Command (CREATE DATABASE fabric, ()) failed: 1007 (HY000): Can‘t create database ‘fabric‘; database exists", 1007)
 
5、查看创建的表：
  1. # mysql -ufabric -h172.17.0.49 -pfabric@123 -e "show tables from fabric";
  2. +-------------------+
  3. | Tables_in_fabric  |
  4. +-------------------+
  5. | checkpoints       | #存储程序执行信息，在crash后，能安全的恢复执行程序
  6. | error_log         | #服务器错误报告信息
  7. | group_replication | #定义复制，global groups和分片组，主要用于shard splitting,moving和global updates?
  8. | group_view        |
  9. | groups            | #包含管理组信息
  10. | log               |
  11. | permissions       | #包含权限信息，访问到不同fabric子系统，当前仅仅定义了core子系统
  12. | proc_view         |
  13. | role_permissions  | #表关联的角色和权限
  14. | roles             | #包含用户角色的信息
  15. | servers           | #包含fabric管理的所有服务器信息
  16. | shard_maps        | #?包含名字和分片属性的映射
  17. | shard_ranges      | #分片索引和使用映射分片key到分片
  18. | shard_tables      | #所有分片的表
  19. | shards            | #存储每个分片标识
  20. | user_roles        |
  21. | users             | #标识用户有什么权限访问到不同子系统的功能
  22. +-------------------+
 
6、开启和停止mysql fabric Nodes：
使用mysqlfabric命令开启和停止mysql fabric节点。
  1. # mysqlfabric manage start
  2. [INFO] 1409095475.657850 - MainThread - Initializing persister: user (fabric), server (172.17.0.49:3306), database (fabric).
  3. [INFO] 1409095475.661201 - MainThread - Loading Services.
  4. [INFO] 1409095475.672051 - MainThread - Fabric node starting.
  5. [INFO] 1409095475.731098 - MainThread - Starting Executor.
  6. [INFO] 1409095475.731155 - MainThread - Setting 5 executor(s).
  7. [INFO] 1409095475.731395 - Executor-0 - Started.
  8. [INFO] 1409095475.731866 - Executor-1 - Started.
  9. [INFO] 1409095475.732208 - Executor-2 - Started.
  10. [INFO] 1409095475.732892 - Executor-3 - Started.
  11. [INFO] 1409095475.733379 - Executor-4 - Started.
  12. [INFO] 1409095475.733472 - MainThread - Executor started.
  13. [INFO] 1409095475.738050 - MainThread - Starting failure detector.
  14. [INFO] 1409095475.738533 - XML-RPC-Server - XML-RPC protocol server (‘0.0.0.0‘, 32274) started.
  15. [INFO] 1409095475.738774 - XML-RPC-Server - Setting 5 XML-RPC session(s).
  16. [INFO] 1409095475.739004 - XML-RPC-Session-0 - Started XML-RPC-Session.
  17. [INFO] 1409095475.739263 - XML-RPC-Session-1 - Started XML-RPC-Session.
  18. [INFO] 1409095475.739442 - XML-RPC-Session-2 - Started XML-RPC-Session.
  19. [INFO] 1409095475.739922 - XML-RPC-Session-3 - Started XML-RPC-Session.
  20. [INFO] 1409095475.740434 - XML-RPC-Session-4 - Started XML-RPC-Session.
 
打印日志到标准输出，监听在[protocol.xmlrpm]段定义的端口。放置fabric到后台，使用--daemonize选项(mysqlfabric manage start --daemonize)，将打印日志到syslog(配置文件默认定义在/var/log/fabric.log ).
 
查看启动的xmlrpm监听端口：
  1. # netstat -ntlp|grep python
  2. tcp        0      0 0.0.0.0:32274           0.0.0.0:*               LISTEN      15713/python   
 
停止fabric：
  1. # mysqlfabric manage stop
  2. Password for admin: #输入xmlrpc的密码
  3. Command :
  4. { success     = True
  5.   return      = True
  6.   activities  = 
  7. }
 
日志：
[INFO] 1409095626.823267 - XML-RPC-Session-1 - Executor has stopped.
[INFO] 1409095626.823651 - XML-RPC-Session-1 - Fabric node stopped.
 
参考：
1、<<MySQL Fabric A Guide to Managing MySQL High Availability and Scaling Out>>、<<MySQL Fabric >>

Mysql Fabric实现学习笔记(转载)

标签：des   style   http   color   os   io   使用   java   ar   

原文地址：http://www.cnblogs.com/scwanglijun/p/3951204.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！