数据库集群

时间：2019-08-17 20:10:48 阅读：220 评论：0 收藏：0 [点我收藏+]

标签：read_only target 最大连接数 mkdir def 实验虚拟 using 多个

分布式MySql 部署方案

解决方案

描述

启动mysql主从备份
通过使用Mycat中间件做分表以及路由
使用haproxy代理MyCat做负载均衡
keepalived保证haproxy的高可用性，解决单点故障。

结构图

技术图片

系统环境">系统环境

| system | ip | user | cpu | memory |
| ————- |:————-:| —–:|————- |:————-:| —–:|8G|
| centos7 | 192.168.100.95 | root |cpu: Intel(R) Pentium(R) CPU G3220 @ 3.00GHz 双核|8G|
| centos7 | 192.168.100.96 | root |cpu: Intel(R) Pentium(R) CPU G3220 @ 3.00GHz 双核|8G|
| centos7 | 192.168.100.97 | root |cpu: Intel(R) Pentium(R) CPU G3220 @ 3.00GHz 双核|8G|

mysql主从备份

修改配置文件(my.conf)

主库配置

Server-id = 1  #这是数据库ID,此ID是唯一的，主库默认为1，其他从库以此ID进行递增，ID值不能重复，否则会同步出错；
 
log-bin = mysql-bin  二进制日志文件，此项为必填项，否则不能同步数据；
 
binlog-do-db = dbTest1  #需要同步的数据库，如果需要同步多个数据库；
 
则继续添加此项。
 
binlog-do-db = dbTest2
 
binlog-ignore-db = mysql 不需要同步的数据库；

从库配置

log_bin           = mysql-bin 
server_id         = 2
relay_log         = mysql-relay-bin
log_slave_updates = 1
read_only         = 1
user            = mysql

重启数据库

为master数据库添加访问权限

create user repl;
GRANT REPLICATION SLAVE ON *.* TO ‘repl‘@‘192.168.100.%‘ IDENTIFIED BY ‘1234‘; #访问权限添加
SHOW MASTER STATUS;  #显示主节点状态

slave 备份配置

change master to master_host=‘192.168.100.96‘,   #master的host
master_port=3306,   #端口
master_user=‘repl‘,   #用户
master_password=‘1234‘,  #密码
master_log_file=‘mysql-bin.000001‘,   #日志文件名
master_log_pos=3204;   #开始位置将从这个位置开始备份
SHOW SLAVE STATUS;     #查看slave状态
START SLAVE;          #开启备份
STOP SLAVE;           #停止备份
 
 
 注意: 在开启备份后<show slave="" status="">会看到：
      Slave_IO_Runing=Yes
      Slave_SQL_Runing=Yes
      说明备份启动成功。</show>

MyCat中间件搭建

下载地址

https://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

配置文件

server.xml

<!--?xml version="1.0" encoding="UTF-8"?-->
 
<mycat:server xmlns:mycat="https://io.mycat/">
        <system>
                <property name="serverPort">8066</property>
                <property name="bindIp">192.168.100.96</property>
                <property name="managerPort">9066</property>
                <property name="systemReserveMemorySize">384m</property>
                <property name="defaultSqlParser">druidparser</property>
        </system>
     <user name="admin">
                <property name="password">mypass</property>
                <property name="schemas">dbTest</property>
 
                <!-- 表级 DML 权限设置 -->
                <!--            
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>           
                 -->
        </user>
 
        <!--<user name="admin">
                <property name="password">mypass</property>
                <property name="schemas">db</property>
                <property name="readOnly">false</property>
        </user>-->
 
</mycat:server>
 
 
说明: 
    1. 结合文档很容易知道配置含义，不在说明。
    2. 主要是对外用户配置，以及管理端口，服务端口配置，和其它一些配置。

schema.xml

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

<!--?xml version="1.0"?-->
 
<mycat:schema xmlns:mycat="https://io.mycat/">
 
        <schema checksqlschema="true" name="dbTest" sqlmaxlimit="100">
                <!-- auto sharding by id (long) --><table datanode="dn1,dn2" name="t_user" primarykey="id" rule="rule1"><tbody><tr><td>
 
                <!-- global table is auto cloned to all defined data nodes ,so can join
                        with any table whose sharding node is in the same data node --></td></tr></tbody></table><datanode database="dbTest1" datahost="localhost1" name="dn1">
        <datanode database="dbTest2" datahost="localhost1" name="dn2">
 <datahost balance="0" dbdriver="native" dbtype="mysql" maxcon="1000" mincon="10" name="localhost1" slavethreshold="100" switchtype="1" writetype="0">
                <heartbeat>show status like ‘wsrep%‘</heartbeat>
                <!-- can have multi write hosts -->
                <writehost host="hostM1" password="mypass" url="192.168.100.96:3306" user="admin">
                        <!-- can have multi read hosts -->
                        <readhost host="hostS2" password="mypass" url="192.168.100.97:3306" user="admin">
                </readhost></writehost>
                <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
        </datahost>
 
 
说明:
     1. 数据库对应表分表配置,其中rule对应rule.xml中分表的类型。
     2. datanode 所分的数据库名字以及datahost名字。
     3.  datahost 连接配置，主数据库配置，以及从数据库配置。<h4 id="rulexml">rule.xml</h4><pre class="brush:sql;"><!--?xml version="1.0" encoding="UTF-8"?-->
 
<mycat:rule xmlns:mycat="https://io.mycat/">
        <tablerule name="rule1">
                <rule>
                        <columns>id</columns>
                        func1</algorithm>
                </rule>
        </tablerule>
 <function class="io.mycat.route.function.PartitionByLong" name="func1">
                <property name="partitionCount">8</property>
                <property name="partitionLength">128</property>
 </function>
</mycat:rule>       
 
说明:
     1. 默认分表规则有很多种，可以酌情选择使用。</pre>
<h3 id="启动">启动</h3>
<pre class="brush:sql;">1. ./bin/mycat start    #启动mycat
2. tail -n1000 -f ./logs/wrapper.log  #查看启动日志
3. tail -n1000 -f ./logs/mycat.log    #查看mycat.log服务日志</pre>
<h2 id="haproxy-负载代理">haproxy 负载代理</h2>
<h3 id="下载地址-1">下载地址</h3>
<p>https://www.haproxy.org/download/1.7/src/haproxy-1.7.3.tar.gz</p>
<h3 id="参考文档">参考文档</h3>
<p>https://blog.csdn.net/zzhongcy/article/details/46443765</p>
<h3 id="安装">安装</h3>
<pre class="brush:sql;">　uname -a    //查看Linux内核版本, TARGET是内核版本，2.6就写作26
　　make TARGET=linux26 PREFIX=/usr/local/haproxy
　　make install PREFIX=/usr/local/haproxy
　　</pre>
<h3 id="配置">配置</h3>
<pre class="brush:sql;"> 1. mkdir /etc/haproxy/conf
 2. vim /etc/haproxy/conf/haproxy.cfg
 
 
 global
log 127.0.0.1   local0 ##记日志的功能
maxconn 4096
chroot /usr/local/haproxy
user haproxy
group haproxy
daemon
########默认配置############  
defaults
log    global
mode tcp               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK  
retries 3              #两次连接失败就认为是服务器不可用，也可以通过后面设置  
option redispatch      #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器  
option abortonclose    #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接  
maxconn 32000          #默认的最大连接数  
timeout connect 5000ms #连接超时  
timeout client 30000ms #客户端超时  
timeout server 30000ms #服务器超时  
timeout check 2000    #心跳检测超时  
#log 127.0.0.1 local0 err #[err warning info debug]  
 
########test1配置#################  
listen mycat_1
bind 0.0.0.0:8076
mode tcp
balance roundrobin
server s1 192.168.100.95:8066 weight 1 maxconn 10000 check inter 10s
server s2 192.168.100.96:8066 weight 1 maxconn 10000 check inter 10s
listen mycat_1_manage
bind 0.0.0.0:9076
mode tcp
balance roundrobin
server s1 192.168.100.95:9066 weight 1 maxconn 10000 check inter 10s
server s2 192.168.100.96:9066 weight 1 maxconn 10000 check inter 10s</pre>
<p>### 启动<br>
<br>
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg</p>
<h2 id="keepalived-解决单点故障">keepalived 解决单点故障</h2>
<h3 id="下载地址-2">下载地址</h3>
<p>https://www.keepalived.org/software/keepalived-1.3.5.tar.gz</p>
<h3 id="文档-1">文档</h3>
<p>https://www.keepalived.org/documentation.html</p>
<h3 id="安装-1">安装</h3>
<pre class="brush:sql;">./configure && make</pre>
<h3 id="配置-1">配置</h3>
<pre class="brush:sql;">1. mkdir -p  /usr/local/etc/keepalived/
2. vim /usr/local/etc/keepalived/keepalived.conf
 
global_defs {
    router_id NodeB
}
vrrp_instance VI_1 {
    state BACKUP    #设置为主服务器
    interface enp3s0  #监测网络接口
    virtual_router_id 51  #主、备必须一样
    priority 90   #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)
    advert_int 1   #VRRP Multicast广播周期秒数
    authentication {
    auth_type PASS  #VRRP认证方式，主备必须一致
    auth_pass 1111   #(密码)
}
virtual_ipaddress {
    192.168.200.100/24  #VRRP HA虚拟地址
}
</pre>
<h3 id="启动-1">启动</h3>
<pre class="brush:sql;">./bin/keepalived -D -f /usr/local/etc/keepalived/keepalived.conf</pre>
<h2 id="mycat-eye-监控web">mycat-eye 监控web</h2>
<h3 id="下载地址-3">下载地址</h3>
<pre class="brush:sql;">https://dl.mycat.io/mycat-web-1.0/Mycat-web-1.0-SNAPSHOT-20170102153329-linux.tar.gz</pre>
<h3 id="安装zookeeper">安装zookeeper</h3>
<pre class="brush:sql;">docker run -d \
-e MYID=1 \
--name=zookeeper --net=host --restart=always sdvdxl/zookeeper</pre>
<h3 id="配置-2">配置</h3>
<pre class="brush:sql;">修改zookeeper地址： 
       1. cd   /mycat-web/WEB-INF/classes 
       2. vim mycat.properties 
       3. zookeeper=127.0.0.1:2181 </pre>
<h3 id="启动-2">启动</h3>
<pre class="brush:sql;">1. cd /mycat-web/ 
2. ./start.sh & </pre>
<h2 id="实验环境整体结构图">实验环境整体结构图</h2>
<p><img alt="这里写图片描述" src="/uploadfile/Collfiles/20170818/20170818103343280.jpg" title="\" style="width: 630px; height: 311.85px;"></p>
<h2 id="补充">补充</h2>
<h3 id="mycat-密码明文加密">MyCat 密码明文加密</h3>
<pre class="brush:sql;">  1. java -cp Mycat-server-1.6-RELEASE.jar io.mycat.util.DecryptUtil   1:userB:root:321
  2. 修改配置 <property name="usingDecrypt">1</property> #使用加密
 
  说明:
     1. 0 为对外提供密码加密，1.是后端也就是数据库连接密码加密
     2. userB 用户名
     3. 321 明文密码</pre>
</datanode></datanode>
<table datanode="dn1,dn2" name="t_company" primarykey="id" rule="rule1" type="global"><!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
                /> --></table>
</schema></mycat:schema>

数据库集群

标签：read_only target 最大连接数 mkdir def 实验虚拟 using 多个

原文地址：https://www.cnblogs.com/klb561/p/11369700.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行