码迷,mamicode.com
首页 > 其他好文 > 详细

RabbitMQ集群搭建-镜像模式

时间:2020-10-06 20:40:24      阅读:24      评论:0      收藏:0      [点我收藏+]

标签:cal   情况   cookie   rac   ng2   第一个   plugin   ref   最新   

服务器介绍

node1:192.168.174.10
node2:192.168.174.11
node3:192.168.174.12
node4:192.168.174.13
node5:192.168.174.14
其中,node1、node2、node3三台服务器安装RabbitMQ服务,node4和node5安装HA-proxy和Keepalived。

服务集群架构

  • HA-proxy


     
    技术图片
    Haproxy 介绍

以常见的TCP应用为例,负载均衡器在接收到第一个来自客户端的SYN请求时,会通过设定的负载均衡算法选择一个最佳的后端服务器,同时将报文中目标IP地址修改为后端服务器IP,然后直接转发给该后端服务器,这样一个负载均衡请求就完成了。从这个过程来看,一个TCP连接是客户端和服务器直接建立的,而负载均衡器只不过完成了一个类似路由器的转发动作。在某些负载均衡策略中,为保证后端服务器返回的报文可以正确传递给负载均衡器,在转发报文的同时可能还会对报文原来的源地址进行修改。整个过程下图所示

 
技术图片
 

Haproxy 的特点是:高可用,负载均衡。

  • KeepAlived


     
    技术图片
    KeepAlived 介绍

KeepAlived 的特点:通过VRRP协议(虚拟ip)实现高可用功能(主备切换)。

 
技术图片
KeepAlived 高可用原理

注意:master节点恢复时,是否重新接管master角色,看我们自己的配置,后面配置KeepAlived会讲。

  • 镜像模式
    镜像模式,是中小型企业常用的rabbitmq集群架构:
     
    技术图片
    镜像模式架构图

    消息的发布(除了Basic.Publish之外)与消费都是通过master节点完成。master节点对消息进行处理的同时将消息的处理动作通过GM(Guarenteed Multicast)广播给所有的slave节点,slave节点的GM收到消息后,通过回调交由mirror_queue_slave进行实际的处理。
    镜像模式流程:程序(Springboot Application)通过访问 KeepAlived 提供的VIP(虚拟ip)指定到其中一个HA-proxy,然后 HA-proxy将访问请求代理到其管理的三个(或多个)rabbitmq server 中的一个,从而实现了高可用、负载均衡的功能。

RabbitMQ主从配置

  • RabbitMQ安装(node1,node2,node3)
    首先配置5个服务器hosts文件:
192.168.174.10  node1
192.168.174.11  node2
192.168.174.12  node3
192.168.174.13  node4
192.168.174.14  node5

1、安装gcc环境

yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel libxml2-utils libxml2 libxslt openssl-devel unixODBC unixODBC-devel unixODBC-bin gtk2 fop gtk2-devel binutils-devel mesa-libGLU-devel yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel libxml2-utils libxml2 libxslt openssl-devel unixODBC unixODBC-devel unixODBC-bin gtk2 fop gtk2-devel binutils-devel mesa-libGLU-devel

2、安装erlang
下载地址为:http://www.erlang.org/downloads,我这里下载的是otp_src_20.1.tar.gz
解压、配置、编译:

tar -xvf otp_src_20.1.tar.gz
cd otp_src_20.1
./configure --prefix=/usr/local/erlang20 --without-javac
make && make install

如果报 Java compiler disabled by user 错误,则去掉--without-javac
3、安装 RabbitMQ
安装 python

yum install python -y

安装 simplejson

yum install xmlto -y
yum install python-simplejson -y

rabbitmq下载地址:http://www.rabbitmq.com/download.html,我这里下载的是rabbitmq-server-generic-unix-3.6.14.tar
解压,并移至/usr/local/rabbitmq

tar -xvf rabbitmq-server-generic-unix-3.6.14.tar
mv rabbitmq_server-3.6.14 /usr/local/rabbitmq

设置环境变量

export PATH=$PATH:/usr/local/erlang20/bin:/usr/local/rabbitmq/sbin
source /etc/profile

启动rabbitmq

./rabbitmq-server &
加上& 就是后台启动,./rabbitmqctl stop 为停止服务

设置guest可以远程连接
修改rabbitmq的配置/usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config(没有就新建)
添加:

[{rabbit, [{loopback_users, []}]}].

启用管理控制台

./rabbitmq-plugins enable rabbitmq_management

重启 rabbitmq,打开浏览器访问:http://node1:15672,用户名guest,密码guest。node2和node3安装略。

 
技术图片
rabbitmq 管理台

 

  • RabbitMQ集群配置
    我们这里以node1为master节点,node2和node3为slave节点。
    1、停止MQ服务

rabbimqctl stop

2、复制node1节点的/root/.erlang.cookie文件到其他节点,并覆盖

scp /root/.erlang.cookie root@node2:~
scp /root/.erlang.cookie root@node3:~

3、启动集群

rabbitmq-server -datached

4、slave 加入集群,对node2和node3分别执行下面操作

rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@node1
rabbitmqctl start_app

如果需要移除集群节点,执行下面命令:

rabbitmqctl forget_cluster_node rabbit@node2(具体节点)

5、修改集群名称(任意一个节点操作,默认为master node名称)

rabbitmqctl set_cluster_name rabbitmq_cluster1

6、查看集群状态(任意一个节点操作)

rabbitmqctl cluster_status

7、设置镜像队列策略(任意一个节点操作)

rabbitmqctl set_policy ha-all "^" ‘{"ha-mode":"all"}‘

将所有队列设置为镜像队列,即队列会被复制到各个节点,各个节点状态一致。
此时看rabbitmq管控台,Nodes会有三个节点:


 
技术图片
rabbitmq 集群

安装 Haproxy(node4和node5)

1、下载依赖包

yum install gcc

2、下载haproxy

yum install haproxy -y

3、编辑 haproxy 配置文件

vi /etc/haproxy/haproxy.cfg

新增listen内容,根据实际情况,修改default内容:

#logging options
global
    log 127.0.0.1 local0 info
    maxconn 5120
    chroot /usr/local/haproxy
    uid 99
    gid 99
    daemon
    quiet
    nbproc 20
    pidfile /var/run/haproxy.pid
    
defaults
    log global
    # 使用四层代理模式,"mode http" 为7层代理模式
    mode tcp
    # if you set mode to tcp,then you must change tcplog into httplog
    option tcplog
    option dontlognull
    retries 3
    option redispatch
    maxconn 2000
    contimeout 5s
    # 客户端空闲超时时间为60秒,过了该时间,HA发起重连机制
    clitimeout 60s
    # 服务端连接超时时间为15秒,过了该时间,HA发起重连机制
    srvtimeout 15s

listen rabbitmq_cluster
    # 定义监听地址和端口,本机的5672端口
    bind 0.0.0.0:5672
    # 配置 tcp 模式
    mode tcp
    # balance url_param userid
    # balance url_param session_id check_post 64
    # 简单的轮询
    balance roundrobin
    #rabbitmq集群节点配置 #inter 每隔五秒对mq集群做健康检查,2次正确证明服务器可用,
    #2次失败证明服务器不可用,并且配置主备机制
    server node1 192.168.174.10:5672 check inter 5000 rise 2 fall 2
    server node2 192.168.174.11:5672 check inter 5000 rise 2 fall 2
    server node3 192.168.174.12:5672 check inter 5000 rise 2 fall 2
        
# 配置 haproxy web 监控,查看统计信息
listen stats
    bind *:8100
    mode http
    option httplog
    stats enable
    # 设置 haproxy 监控地址为:http://localhost:8100/rabbitmq-stats
    stats uri /rabbitmq-stats
    stats refresh 5s

4、启动haproxy

haproxy -f /etc/haproxy/haproxy.cfg

重启haproxy:service haproxy restart
至此,haproxy配置成功,可以访问:http://192.168.174.13:8100/rabbitmq-stats,可以看到:

 
技术图片
haproxy 监控台

 

安装 Keepalived(node4和node5)

我这里将node4作为keepalived的主节点,node5为备用节点。并且node4宕机恢复服务后,需要抢回VIP。
1、安装所需软件包

yum install -y openssl openssl-devel

2、下载 keepalived

wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz

3、解压、编译、安装

tar -xvf keepalived-1.2.18.tar.gz
cd keepalived-1.2.18
./configure --prefix=/usr/local/keepalived
make && make install

4、创建文件夹,将keepalived配置文件进行复制

mkdir /etc/keepalived
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig

5、创建软连接,如果存在则进行删除

ln -s /usr/local/sbin/keepalived /usr/sbin
ln -s /usr/local/keepalived/sbin/keepalived /sbin

6、设置开机启动

chkconfig keepalived on

7、编辑 keepalived 配置文件

vi /etc/keepalived/keepalived.conf

node4的内容如下:

! Configuration File for keepalived

global defs {
    router_id node4 ##标识节点的字符串,通常为hostname
}

vrrp_script chk_haproxy{
    script "/etc/keepalived/haproxy_check.sh"   ## 执行脚本位置
    interval 2  ##检查时间间隔
    weight -20 ##如果条件成立则权重减20
}

vrrp_instance VI_1 {
    state MASTER##主节点为MASTER,备份节点为BACKUP
    interface ens33 ##绑定虚拟ip的网络接口(网卡)
    virtual_router_id 13    ##虚拟路由id号,主备节点相同
    mcast_src_ip 192.168.174.13 ##本机ip地址
    priority 100    ##优先级(0-254)
    nopreempt
    advert_int 1    ##组播信息发送间隔,两个节点必须一致,默认1s
    authentication {    ##认证匹配
        auth_type PASS
        auth_pass bhz
    }
    track_script {
        chk_haproxy
    }
    virtual_ipaddress {
        192.168.174.70 ##虚拟ip,可以指定多个
    }
}

node5的内容如下:

! Configuration File for keepalived

global defs {
    router_id node5 ##标识节点的字符串,通常为hostname
}

vrrp_script chk_haproxy{
    script "/etc/keepalived/haproxy_check.sh"   ## 执行脚本位置
    interval 2  ##检查时间间隔
    weight -20 ##如果条件成立则权重减20
}

vrrp_instance VI_1 {
    state BACKUP ##主节点为MASTER,备份节点为BACKUP
    interface ens33 ##绑定虚拟ip的网络接口(网卡)
    virtual_router_id 13    ##虚拟路由id号,主备节点相同
    mcast_src_ip 192.168.174.14 ##本机ip地址
    priority 90 ##优先级(0-254)
    nopreempt
    advert_int 1    ##组播信息发送间隔,两个节点必须一致,默认1s
    authentication {    ##认证匹配
        auth_type PASS
        auth_pass bhz
    }
    track_script {
        chk_haproxy
    }
    virtual_ipaddress {
        192.168.174.70 ##虚拟ip,可以指定多个
    }
}

vrrp_instance 的 interface 为VIP需要挂载的网卡上,我这里都放在虚拟机的ens33上。 node4 的 state 为 MASTER,node5 为 BACKUP ,priority 要保证node4大于node5,这样就能实现node4宕机之后恢复服务,能够从node5抢回VIP;如果需要实现不抢回VIP,则node4和node5的state都设置为BACKUP,并且vrrp_instance 都添加nopreempt,表示不抢夺VIP(实际上已经加了)。
8、添加执行脚本 haproxy_check.sh

vi /etc/keepalived/haproxy_check.sh

内容如下(node4和node5一样):

#!/bin/bash
COUNT = `ps -C haproxy --no-header | wc -l`
if [$COUNT -eq 0];then
    /usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
    sleep 2
    if[`ps -C haproxy --no-header | wc -l` -eq 0];then
        killall keepalived
    fi
fi

9、赋予脚本执行权限

chmod +x haproxy_check.sh

10、启动keepalived

service keepalived start

至此,基于Keepalived和Haproxy的rabbitmq集群,已经搭接完成。
下面我们来测试下keepalived的VIP切换:
当node4和node5都成功启动keepalived时,我们使用命令ip a查看当前服务器的ip:
node4:


 
技术图片
node4 master

node5:


 
技术图片
node5 backup

此时,VIP落在了node4上,所以node4为master节点,node5为备用节点。
现在,我们让node4的keepalived宕机:
 
技术图片
node4 宕机

node5:
 
技术图片
node5 夺取vip

当node4的keepalived宕机之后,VIP就被node5拿去了,这样就实现了主备切换的功能。
现在我们让node4的keepalived服务恢复:


 
技术图片
node4 恢复服务

当node4恢复服务时,它就会从node5中夺回VIP,重新作为MASTER节点。

集群恢复与故障转移

场景1:


 
技术图片
场景1

由于节点B是后停的,所以数据是最新的,并且B是Mater节点。所以先启动B,再启动A即可;如果A(slave)先启动,它会有30s的等待时间,等待master的启动,然后加入cluster中(如果30s内master没有启动,slave会自动停止)。
场景2:


 
技术图片
场景2

当所有节点因故障(断电等)同时离线时,每个节点都认为自己不是最后一个停止的节点。要恢复镜像队列,可以尝试在30s之内启动所有节点。
场景3:
 
技术图片
场景3

由于A无法恢复,于是需要弃用A,因为B是Master并且是可以恢复的,于是我们可以启动B,然后执行:rabbitmqctl forget_cluster_node A,解除与A的cluster关系。再将新的slave节点加入B即可重新恢复镜像队列。
场景4:


 
技术图片
场景4

由于B是Master,但是无法启动,于是作为Slave的A,也是无法启动的。因为如果slave在30s内没有监听到master的信息,则会自行断开。所以,我们需要线下去掉B,执行:rabbitmqctl forget_cluster_node B --offline。
场景5:
 
技术图片
场景5

由于A、B都无法恢复,于是我们都得弃用。我们拿到A或者B的磁盘文件,copy到新的服务器对应的目录下。
场景6:
 
技术图片
场景6


作者:habit_learning
链接:https://www.jianshu.com/p/5b2879fba25b
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

RabbitMQ集群搭建-镜像模式

标签:cal   情况   cookie   rac   ng2   第一个   plugin   ref   最新   

原文地址:https://www.cnblogs.com/cheyunhua/p/13772623.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!