mysql双主环境搭建corosync+drbd+mysql

标签：mysql corosync heartbeat

一、搭建环境

2台虚拟机

操作系统centos6.3

二、ip地址规划

node1   172.30.82.45

node2      172.30.82.58

VIP        172.30.82.61

三、注意：

1、设置各个节点间的时间同步,ntpdate 172.30.82.254 &>/dev/null

2、基于hosts文件实现能够互相用主机名访问,修改/etc/hosts文件

172.30.82.45node1

172.30.82.58node2

node1上执行：

ssh-keygen -t rsa -P ""

ssh-copy-id -i ~/.ssh/id_rsa.pub  node2

node2上执行：

ssh-keygen -t rsa -P ""

ssh-copy-id -i ~/.ssh/id_rsa.pub  node1

3、确保uname -n结果与主机名相同

4、清空iptatables规则 

iptabesl -L;chkconfig iptabels off

5、关闭selinux，setenfroce 0

四、安装相关软件

yum update -y  
pssh-2.3.1-4.1.x86_64.rpm crmsh-2.1-1.6.x86_64.rpm  python-pssh-2.3.1-4.1.x86_64.rpm下载地址
http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-6/x86_64/
yum install corosync pacemaker –y
yum install -y python-dateutil python-lxml redhat-rpm-config cluster-glue cluster-glue-libs resource-agents
yum --nogpgcheck localinstall pssh-2.3.1-4.1.x86_64.rpm crmsh-2.1-1.6.x86_64.rpm  python-pssh-2.3.1-4.1.x86_64.rpm
rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm   
ssh node2 ‘rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm‘   
ssh node2 ‘yum update -y‘   
yum install drbd84-utils kmod-drbd84 -y   
ssh node2 ‘yum install drbd84-utils kmod-drbd84 -y‘
modprobe drbd
ssh node2 ‘modprobe drbd‘

五、修改配置文件

1、拷贝配置文件

cp /etc/corosync.conf.example /etc/corosync.conf

2、生成autokeys文件

 corosync-keygen

3、修改corosync.conf

totem {
        version: 2
        secauth: off                              #是否开启秘钥认证
        threads: 0                                #发送集群节点认证信息使用的进程数
        interface {
                ringnumber: 0                     #为避免冗余环路设定的所在的网络接口
                bindnetaddr: 172.30.82.0          #集群所在网络
                mcastaddr: 239.238.16.1           #集群通告组播地址
                mcastport: 5405                   #服务端口
                ttl: 1
        }
}
logging {
        fileline: off					          #日志是否打印行号
        to_stderr: no                             #是否输出标准错误（到显示器）
        to_logfile: yes                           #定义日志
        logfile: /var/log/corosync.log           
        to_syslog: no                             #是否开启系统日志
        debug: off
        timestamp: on
        logger_subsys {
                subsys: AMF
                debug: off
        }
}
service {                                         #服务启动时启动pacemaker
        ver: 0
        name: pacemaker
}

修改drbd配置文件

drbd有3个配置文件/etc/drbd.conf主配置文件，主配置文件包含了

/etc/drbd.d/global_common.conf，drdb启动配置文件

/etc/drbd.d/mydrdb.res(此文件需自己创建)，drdb资源配置文件

/etc/drbd.d/global_common.conf  
#global配置段
global {
        usage-count no;
		#装机量统计
}
#common配置段,该配置段不是必须的，但可以用来设定多个resource共有的选项，以减少重复性工作。该配置段中又包含如下配置段：disk、net、startup、syncer和handlers
common {
        protocol C;
		#为保证数据同步安全drbd有3种协议
		#protocol A  异步复制协议，数据写入本地磁盘，且拷贝数据进入本地tcp缓存区，认为主节点的本地操作完成，这种模式，在发生强制故障转移的时候可能发生数据丢失的现象。协议A常用在长距离复制环境中。当它和DRBD代理结合使用的时候，它成为一个有效的灾难恢复解决方案。
		#protocol B  内存同步复制协议，本地磁盘写入完成，且拷贝数据到达对等节点的内存缓存区，认为主节点本地写操作完成。如果节点同时停电，主节点的数据存储将发生不可逆的损坏，大部分最近在主节点中写入完成的数据可能会丢失。
		#protocol C #同步复制协议，只有当本地磁盘和远程磁盘都确认写入完成时，就认为在主节点的本地写操作完成。结果，即使一个节点崩溃，也不会丢失任何数据。唯一丢失数据的可能是两个节点同时崩溃。
        handlers {

                pri-on-incon-degr "/usr/local/drbd/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                pri-lost-after-sb "/usr/local/drbd/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                local-io-error "/usr/local/drbdlib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
        }

        startup {
        }

        options {
        }
#disk配置段,该配置段用来精细地调节drbd底层存储的属性,这是一个非常重要的配置段，如果底层设备（磁盘）发生了错误或损坏，该配置段将按照设定的策略发生作用
	#detach：发生I/O错误的节点将放弃底层设备，以diskless mode继续工作。在diskless mode下，只要还有网络连接，drbd将从secondarynode读写数据，而不需要failover,
	该策略导致一定的损失，但好处也很明显，drbd服务不会中断。官方推荐和默认策略
        disk {
                on-io-error detach;
        }

        net {
        }
#syncer配置段,该配置段用来更加精细地调节服务的同步进程
	#rate：设置同步时的速率,所谓有效可用带宽，是指网络带宽和磁盘读写速度中的最小者,官方提示速率的设定，最好设为有效可用带宽的30%
        syncer {
                rate 1000M;
        }
}

/etc/drbd.d/mydrbd.res 配置文件说明
resource mydrbd {
		定义资源名
        on node1 {
                device          /dev/drbd1;
				#node1节点上drdb设备为/dev/drbd1，我的理解，这是drdb用来截获内存缓存数据的虚拟设备
                disk            /dev/magevg/magelv;
				#lvm磁盘设备
                address         172.30.82.45:7789;
				#drbd运行地址及端口
                meta-disk       internal;
				#元数据是否卸载本地
        }
        on node2 {
                device          /dev/drbd1;
                disk            /dev/magevg/magelv;
                address         172.30.82.58:7789;
                meta-disk       internal;
        }
}

配置完成后将corosync 及drbd的配置文件拷贝到另一节点

scp /etc/{corosync.conf，corosync-keygen} node2:/etc/
scp /etc/drbd.d/{global_common.conf,mydrdb.res} node2:/etc/drbd.d

六、启动服务并测试

a、drbd服务启动及测试

1)在node1,node2上分别创建lvm磁盘设备

fdisk /dev/sdb1
n
p
1
+500M
t
8e
w
/dev/sdb2 同上
pvcreate /dev/sdb{1,2}
vgcreate -s 16M magevg /dev/sdb{1,2}
pvcreate -L 992M -n magelv magevg

2）初始化资源，启动服务，在Node1和Node2上分别执行：

# drbdadm create-md mydrdb
/etc/init.d/drbd start

3）查看启动状态：

[root@node1]# cat /proc/drbd 
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@node1, 2015-05-27 23:04:23
 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:1060184

两个节点都是 Secondary/Secondary 状态

也可以通过如下命令查看drbd状态

[root@node1 sbin]# drbd-overview 
0:mydrbd/0  Connected Secondary/Secondary Inconsistent/Inconsistent C r-----

4)将node1节点设置为Primary，执行如下命令：

[root@node1 sbin]# drbdadm  -- --overwrite-data-of-peer primary mydrbd

查看状态，可以发现数据同步过程开始

[root@node1 sbin]# drbd-overview 
0:mydrbd/0  SyncSource Primary/Secondary UpToDate/Inconsistent C r---n- 
[====>...............] sync‘ed: 26.3% (782680/1060184)K

数据同步完成

[root@node1 sbin]# drbd-overview 
0:web  Connected Primary/Secondary UpToDate/UpToDate C r----
drbd 处于主从状态Primary/Secondary

5）创建文件系统：

文件系统只能在primary节点上挂载，因此只能在主节点上对drbd设备格式化

mkfs -t ext4 /dev/drbd1
mkdir /mnt/drbd
mount /dev/drbd1 /mnt/drbd

在drbd设备上新建测试文件

touch /mnt/drbd/{a,b,c}

6）切换primary和secondary节点

对pri/sec模型的drbd，在某一时刻只能由一个节点为primary,因此要切换两个节点角色，只能将原来的primary节点设置为secondary后，才能将原来的secondary节点设置为primary:

umount /mnt/drbd
drbdadm  secondary mydrbd

主节点上查看drbd状态：

[root@node1 ~]# drbd-overview 
0:mydrbd/0  Connected Secondary/Secondary UpToDate/UpToDate C r-----

从节点上查看drbd状态：

[root@node2 ~]# drbd-overview 
0:mydrbd/0  Connected Secondary/Secondary UpToDate/UpToDate C r-----

让从节点成为主节点，drbd8.4第一次设置某节点成为主节点的命令:

[root@node2 var]# drbdadm  primary --force mydrbd

若不是第一次将从节点设为主节点可以使用如下命令:

drbdadm primary mydrbd
mount /dev/drbd1 /mnt/drbd

查看挂载设备文件

[root@node2 drbd]# ll /mnt/drbd
-rw-r--r--  1 root  root     0 6?   4 16:20 a
-rw-r--r--  1 root  root     0 6?   4 16:20 b
-rw-r--r--  1 root  root     0 6?   4 16:20 c

DRBD启动测试已经完成

卸载文件系统，降级node2到secondary状态，为高可用准备

umount /mnt/drbd
[root@node2 sbin]# drbdadm secondary mydrbd

在node1,node2上分别执行

chkconfig drbd off

b、corosync 启动测试

1）在node1上执行

service corosync start
ssh node2 ‘service corosync start‘

注意：启动node2需要在node1上使用如上命令进行，不要在node2节点上直接启动；

查看corosync引擎是否正常启动

[root@node1 corosync]#  grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/corosync.log 
May 19 23:11:05 corosync [MAIN  ] Corosync Cluster Engine exiting with status 0 at main.c:2055.
May 19 23:11:46 corosync [MAIN  ] Corosync Cluster Engine (‘1.4.7‘): started and ready to provide service.
May 19 23:11:46 corosync [MAIN  ] Successfully read main configuration file ‘/etc/corosync/corosync.conf‘

查看初始化成员节点通知是否正常发出：

[root@node1 corosync]# grep  TOTEM  /var/log/corosync.log 
May 19 19:59:44 corosync [TOTEM ] Initializing transport (UDP/IP Multicast).
May 19 19:59:44 corosync [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SHA1HMAC (mode 0).
May 19 19:59:44 corosync [TOTEM ] The network interface [172.30.82.45] is now up.
May 19 19:59:44 corosync [TOTEM ] A processor joined or left the membership and a new membership was formed.

检查启动过程中是否有错误产生：

[root@node1 corosync]# # grep ERROR: /var/log/corosync.log

查看pacemaker是否正常启动：

May 19 23:11:46 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized
May 19 23:11:46 corosync [pcmk  ] Logging: Initialized pcmk_startup
May 19 23:11:46 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615
May 19 23:11:46 corosync [pcmk  ] info: pcmk_startup: Service: 9
May 19 23:11:46 corosync [pcmk  ] info: pcmk_startup: Local hostname: node1

使用如下命令查看集群节点的启动状态：

[root@node1 corosync]# crm status
Last updated: Wed May 20 00:10:38 2015
Last change: Tue May 19 22:49:50 2015
Stack: classic openais (with plugin)
Current DC: node1 - partition with quorum
Version: 1.1.11-97629de
2 Nodes configured, 2 expected votes
2 Resources configured
Online: [ node1 node2 ]

七、安装mysql数据库到/mnt/drdb下,在node1、node2上执行，注意配置文件的一致性

tar -zxvf mysql-5.1.41.tar.gz
cd mysql-5.1.41
./configure --prefix=/mnt/drbd/mysqld
make && make install
cp /mnt/drbd/mysqld/share/mysql/my-huge.cnf  /etc/my.cnf
useradd -s /sbin/nologin mysql
/mnt/drbd/mysqld/bin/mysql_install_db --basedir=/mnt/drbd/mysqld --datadir=/mnt/drbd/mysqld/data --user=mysql
chown  -R mysql.root /mnt/drbd/mysqld
scp /mnt/drbd/mysqld/share/mysql/mysql.server /etc/init.d
chkconfig --add mysqld
chkconfig mysqld off

八、集群资源配置

crm(live)configure# property stonith-enabled=false
定义不启用stonith设备

crm(live)configure# property no-quorum=ignore
当一台高可用服务不可用，集群的默认的仲裁机制为ignore（集群是2台服务器的必须使用此选项）

crm(live)configure# rsc_defaults resource-stickiness=100
定义默认的资源粘性


crm(live)configure#primitive mysqldrbd  ocf:linbit:drbd params drbd_resource=mydrbd op start timeout=240 op stop timeout=100 op monitor role=node1 interval=20 timeout=30 op monitor role=node2 interval=30 timeout=30
说明：mysqldrbd 定义一个集群资源，集群资源的代理是ocf下linbit提供的drbd服务，drbd服务要提供本身的资源mydrbd，资源名定义为drbd_resource，op是对drbd的一些动作、监控的时间限定，role指定了资源的所在主机的角色
定义drbd的高可用，首先定义drbd为基本资源，之后定义drbd为克隆的主从资源
注意：这里只有linbit没有beartbeat，corosync1.4以前的版本有heartbeat

crm(live)configure#ms ms_mysqldrbd mysqldrbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true
说明:ms定义mysqldrbd为主从资源，资源名为ms_mysqldrbd，主从资源一定是克隆类型的，meta对克隆资源的限定
master-max=1 最多个克隆资源被提升为主资源状态（只能由一个克隆资源被提升为主资源）
master-node-max=1  运行主资源的有几个节点（运行主资源的必须只有一个节点）
clone-max=2 一个资源克隆了几份，集群有几个节点就克隆几份
clone-node-max=1 每个节点最多可以运行几个克隆资源
notify=ture 发生故障是否向管理员发起通告

crm(live)configure# primitive mystore ocf:heartbeat:Filesystem params device=/dev/drbd1 directory=/mnt/drbd fstype=ext4 op start timeout=60 op stop timeout=60
定义集群文件系统的存储资源，通过ocf下heartbeat下的Filesystem代理，params指定文件系统的参数，device要挂载的硬件，directory挂载目录，op挂载时间超时设置

crm(live)configure# colocation mystore_with_ms_mysqldrbd inf: mystore ms_mysqldrbd:node1
colocation排列约束指定资源之间的粘合，约束名为mystore_with_ms_mysqldrbd（可以随便起名）
inf: 资源约束分数为正无穷，永远在一起
mystore 与 ms_mysqldrbd 在一起，ms_mysqldrbd 为参照的对象（也就是说它是主体）

crm(live)configure# order mystore_after_ms_mysqldrbd mandatory: ms_mysqldrbd:promote mystore:start
order 定义资源的启动顺序名mystore_after_ms_mysqldrbd 
mandatory: 强制启动顺序
ms_mysqldrbd:promote 先启动 mystore:start 后启动

crm(live)configure# primitive mysqld lsb:mysqld
定义数据库服务资源

crm(live)configure#colocation mysqld_with_mystore inf: mysqld mystore
定义数据库资源约束，数据库服务要与文件系统在一起
crm(live)configure#order mysqd_after_mystore Mandatory: mystore mysqld
数据库运行在文件系统之后

约束关系可以通过xml文件分析查看
crm(live)configure#show xml 

crm(live)configure#primitive params ip=172.30.82.42 nic=eth0 cidr_netmask=255.255.255.0
定义一个虚拟ip集群资源
crm(live)configure#crm(live)configure#colocation myip_with_ms_mysqldrdb inf: ms_mysqldrbd:Master myip
定义虚拟ip要与主资源运行在一起

九、资源自动切换

node1上执行
[root@node1 mysql]# crm status
Last updated: Thu Jun  4 17:02:13 2015
Last change: Thu Jun  4 16:19:45 2015
Stack: classic openais (with plugin)
Current DC: node1 - partition with quorum
Version: 1.1.11-97629de
2 Nodes configured, 2 expected votes
5 Resources configured


Online: [ node1 node2]

 Master/Slave Set: ms_mysqldrbd [mysqldrbd]
     Masters: [ node1 ]
     Stopped: [ node2 ]
 mystore        (ocf::heartbeat:Filesystem):    Started node1 
 mysqld (lsb:mysqld):   Started node1
 myip	(ocf::heartbeat:IPaddr): 			Started node1

 测试是否可以连接数据库

 mysql -uroot -h172.30.82.61
 show databases;

切换节点：

[root@node1 mysql]# crm node standby
[root@node2 drbd]# crm status
Last updated: Thu Jun  4 17:09:03 2015
Last change: Thu Jun  4 17:08:58 2015
Stack: classic openais (with plugin)
Current DC: node1 - partition with quorum
Version: 1.1.11-97629de
2 Nodes configured, 2 expected votes
5 Resources configured


Node node1: standby
Online: [ node2 ]

 Master/Slave Set: ms_mysqldrbd [mysqldrbd]
     Masters: [ node2 ]
     Stopped: [ node1 ]
 mystore        (ocf::heartbeat:Filesystem):    Started node2 
 mysqld (lsb:mysqld):   Started node2 
 myip	(ocf::heartbeat:IPaddr): 			Started node2

 测试是否可以连接数据库

 mysql -uroot -h172.30.82.61
 show databases;

申明，学了马哥教育视频最终完成了这篇博客，因为环境不同所以在软件安装及配置上遇到了很多麻烦，感悟是看会了与做对了差距不是一点点

本文出自 “浅浅海底行” 博客，请务必保留此出处http://buguoruci.blog.51cto.com/4104173/1658707

mysql双主环境搭建corosync+drbd+mysql

标签：mysql corosync heartbeat

原文地址：http://buguoruci.blog.51cto.com/4104173/1658707