01 Rabbitmq

1 1 消息队列一般有三个角色：
2 2 队列服务端
3 3 队列生产者
4 4 队列消费者
5 5 消息队列工作流程就如同一个流水线，有产品加工，一个输送带，一个打包产品
6 6 输送带就是 不停运转的消息队列服务端
7 7 加工产品的就是 队列生产者
8 8 在传输带结尾打包产品的 就是队列消费者

 1  1 RabbitMQ
 2  2 Erlang编写的消息队列产品，企业级消息队列软件，支持消息负载均衡，数据持久化等。
 3  3 
 4  4 ZeroMQ 
 5  5 saltstack软件使用此消息，速度最快。
 6  6 
 7  7 Redis
 8  8 key-value的系统，也支持队列数据结构，轻量级消息队列
 9  9 
10 10 Kafka
11 11 由Scala编写，目标是为处理实时数据提供一个统一、高通量、低等待的平台

 1  1 (1)程序解耦
 2  2     允许你独立的修改或扩展两边的处理过程,只要确保它们遵守同样的接口约束
 3  3 (2)冗余
 4  4     消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。
 5  5 许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。
 6  6 (3)峰值处理能力(削峰)
 7  7     举例秒杀活动或者抢票.
 8  8     在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。
 9 10 　　 使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
10 11 (4)可恢复性
11 12     系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
12 13 (5)顺序保证
13 14     在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。
14 15 (6)缓冲
15 16     有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
16 17 (7)异步通信
17 18     很多时候，用户不想也不需要立即处理消息。比如发红包，发短信等流程。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

1 生活里的消息队列，如同邮局的邮箱，
2 如果没邮箱的话，
3 邮件必须找到邮件那个人，递给他，才玩完成，那这个任务会处理的很麻烦，很慢，效率很低
4 
5 但是如果有了邮箱，
6 邮件直接丢给邮箱，用户只需要去邮箱里面去找，有没有邮件，有就拿走，没有就下次再来，这样可以极大的提升邮件收发效率！

 1 rabbitmq-server服务端
 2 
 3 1.下载centos源
 4 wget -O /etc/yum.repos.d/CentOS-Base.repo   http://mirrors.cloud.tencent.com/repo/centos7_base.repo
 5 2.下载epel源
 6 wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
 7 3.清空yum缓存并且生成新的yum缓存
 8 yum clean all
 9 yum makecache
10 4.安装erlang
11    $ yum -y install erlang
12 5.安装RabbitMQ
13    $ yum -y install rabbitmq-server
14 6.启动(无用户名密码):
15     systemctl start/stop/restart/status rabbitmq-server
16 ?
17 设置rabbitmq账号密码，以及角色权限设置
18 
19 # 设置新用户yugo 密码123
20 sudo rabbitmqctl add_user yugo 123
21 ?
22 # 设置用户为administrator角色
23 sudo rabbitmqctl set_user_tags yugo administrator
24 ?
25 # 设置权限，允许对所有的队列都有权限
26 对何种资源具有配置、写、读的权限通过正则表达式来匹配，具体命令如下：
27 set_permissions [-p <vhostpath>] <user> <conf> <write> <read>
28 
29 sudo rabbitmqctl set_permissions -p "/" yugo ".*" ".*" ".*"
30 ?
31 #重启服务生效设置
32 service rabbitmq-server start/stop/restart
33 rabbitmq相关命令
34 
35 // 新建用户
36 rabbitmqctl add_user {用户名} {密码}
37 ?
38 // 设置权限
39 rabbitmqctl set_user_tags {用户名} {权限}
40 ?
41 // 查看用户列表
42 rabbitmqctl list_users
43 ?
44 // 为用户授权
45 添加 Virtual Hosts ：    
46 rabbitmqctl add_vhost <vhost>    
47 ?
48 // 删除用户
49 rabbitmqctl delete_user Username
50 ?
51 // 修改用户的密码
52 rabbitmqctl change_password Username Newpassword
53     
54 // 删除 Virtual Hosts ：    
55 rabbitmqctl delete_vhost <vhost>    
56     
57 // 添加 Users ：    
58 rabbitmqctl add_user <username> <password>    
59 rabbitmqctl set_user_tags <username> <tag> ...    
60 rabbitmqctl set_permissions [-p <vhost>] <user> <conf> <write> <read>    
61     
62 // 删除 Users ：    
63 delete_user <username>   
64 ?
65 // 使用户user1具有vhost1这个virtual host中所有资源的配置、写、读权限以便管理其中的资源
66 rabbitmqctl  set_permissions -p vhost1 user1 ‘.*‘ ‘.*‘ ‘.*‘ 
67 ?
68 // 查看权限
69 rabbitmqctl list_user_permissions user1
70 ?
71 rabbitmqctl list_permissions -p vhost1
72 ?
73 // 清除权限
74 rabbitmqctl clear_permissions [-p VHostPath] User
75 ?
76 //清空队列步骤
77 rabbitmqctl reset 
78 需要提前关闭应用rabbitmqctl stop_app ，
79 然后再清空队列，启动应用
80 rabbitmqctl start_app
81 此时查看队列rabbitmqctl list_queues
82 ?
83 查看所有的exchange：                              rabbitmqctl list_exchanges
84 查看所有的queue：                                 rabbitmqctl list_queues
85 查看所有的用户：                                   rabbitmqctl list_users
86 查看所有的绑定（exchange和queue的绑定信息）：         rabbitmqctl list_bindings
87 查看消息确认信息：
88 rabbitmqctl list_queues name messages_ready messages_unacknowledged
89 查看RabbitMQ状态，包括版本号等信息：rabbitmqctl status
90 
91 #开启web界面rabbitmq
92 rabbitmq-plugins enable rabbitmq_management
93 
94 #访问web界面
95 http://server-name:15672/

 1 AMQP协议是一个高级抽象层消息通信协议，RabbitMQ是AMQP协议的实现。它主要包括以下组件：
 2 1.Server(broker): 接受客户端连接，实现AMQP消息队列和路由功能的进程。
 3 
 4 2.Virtual Host:其实是一个虚拟概念，类似于权限控制组，一个Virtual Host里面可以有若干个Exchange和Queue，但是权限控制的最小粒度是Virtual Host
 5 
 6 3.Exchange:接受生产者发送的消息，并根据Binding规则将消息路由给服务器中的队列。ExchangeType决定了Exchange路由消息的行为，例如，在RabbitMQ中，ExchangeType有direct、Fanout和Topic三种，不同类型的Exchange路由的行为是不一样的。
 7 
 8 4.Message Queue：消息队列，用于存储还未被消费者消费的消息。
 9 
10 5.Message: 由Header和Body组成，Header是由生产者添加的各种属性的集合，包括Message是否被持久化、由哪个Message Queue接受、优先级是多少等。而Body是真正需要传输的APP数据。
11 
12 6.Binding:Binding联系了Exchange与Message Queue。Exchange在与多个Message Queue发生Binding后会生成一张路由表，路由表中存储着Message Queue所需消息的限制条件即Binding Key。当Exchange收到Message时会解析其Header得到Routing Key，Exchange根据Routing Key与Exchange Type将Message路由到Message Queue。Binding Key由Consumer在Binding Exchange与Message Queue时指定，而Routing Key由Producer发送Message时指定，两者的匹配方式由Exchange Type决定。 
13 
14 7.Connection:连接，对于RabbitMQ而言，其实就是一个位于客户端和Broker之间的TCP连接。
15 
16 8.Channel:信道，仅仅创建了客户端到Broker之间的连接后，客户端还是不能发送消息的。需要为每一个Connection创建Channel，AMQP协议规定只有通过Channel才能执行AMQP的命令。一个Connection可以包含多个Channel。之所以需要Channel，是因为TCP连接的建立和释放都是十分昂贵的，如果一个客户端每一个线程都需要与Broker交互，如果每一个线程都建立一个TCP连接，暂且不考虑TCP连接是否浪费，就算操作系统也无法承受每秒建立如此多的TCP连接。RabbitMQ建议客户端线程之间不要共用Channel，至少要保证共用Channel的线程发送消息必须是串行的，但是建议尽量共用Connection。
17 
18 9.Command:AMQP的命令，客户端通过Command完成与AMQP服务器的交互来实现自身的逻辑。例如在RabbitMQ中，客户端可以通过publish命令发送消息，txSelect开启一个事务，txCommit提交一个事务。

 1 #!/usr/bin/env python
 2 import pika
 3 # 创建凭证，使用rabbitmq用户密码登录
 4 # 去邮局取邮件，必须得验证身份
 5 credentials = pika.PlainCredentials("s14","123")
 6 # 新建连接，这里localhost可以更换为服务器ip
 7 # 找到这个邮局，等于连接上服务器
 8 connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.119.10‘,credentials=credentials))
 9 # 创建频道
10 # 建造一个大邮箱，隶属于这家邮局的邮箱，就是个连接
11 channel = connection.channel()
12 # 声明一个队列，用于接收消息，队列名字叫“水许传”
13 channel.queue_declare(queue=‘水许传‘)
14 # 注意在rabbitmq中，消息想要发送给队列，必须经过交换(exchange)，初学可以使用空字符串交换(exchange=‘‘)，它允许我们精确的指定发送给哪个队列(routing_key=‘‘),参数body值发送的数据
15 channel.basic_publish(exchange=‘‘,
16                       routing_key=‘水许传‘,
17                       body=‘武松又去打老虎啦2‘)
18 print("已经发送了消息")
19 # 程序退出前，确保刷新网络缓冲以及消息发送给rabbitmq，需要关闭本次连接
20 connection.close()

 1 import pika
 2 # 建立与rabbitmq的连接
 3 credentials = pika.PlainCredentials("s14","123")
 4 connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.119.10‘,credentials=credentials))
 5 channel = connection.channel()
 6 channel.queue_declare(queue="水许传")
 7 
 8 def callbak(ch,method,properties,body):
 9     print("消费者接收到了任务：%r"%body.decode("utf8"))
10 # 有消息来临，立即执行callbak，没有消息则夯住，等待消息
11 # 老百姓开始去邮箱取邮件啦，队列名字是水许传
12 channel.basic_consume(callbak,queue="水许传",no_ack=True)
13 # 开始消费，接收消息
14 channel.start_consuming()

 1 #!/usr/bin/env python
 2 import pika
 3 # 创建凭证，使用rabbitmq用户密码登录
 4 # 去邮局取邮件，必须得验证身份
 5 credentials = pika.PlainCredentials("s14","123")
 6 # 新建连接，这里localhost可以更换为服务器ip
 7 # 找到这个邮局，等于连接上服务器
 8 connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.119.10‘,credentials=credentials))
 9 # 创建频道
10 # 建造一个大邮箱，隶属于这家邮局的邮箱，就是个连接
11 channel = connection.channel()
12 # 新建一个hello队列，用于接收消息
13 # 这个邮箱可以收发各个班级的邮件，通过
14 channel.queue_declare(queue=‘金品没‘)
15 # 注意在rabbitmq中，消息想要发送给队列，必须经过交换(exchange)，初学可以使用空字符串交换(exchange=‘‘)，它允许我们精确的指定发送给哪个队列(routing_key=‘‘),参数body值发送的数据
16 channel.basic_publish(exchange=‘‘,
17                       routing_key=‘金品没‘,
18                       body=‘潘金莲又出去。。。‘)
19 print("已经发送了消息")
20 # 程序退出前，确保刷新网络缓冲以及消息发送给rabbitmq，需要关闭本次连接
21 connection.close()　

 1 import pika
 2 
 3 credentials = pika.PlainCredentials("s14","123")
 4 connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.119.10‘,credentials=credentials))
 5 channel = connection.channel()
 6 
 7 # 声明一个队列(创建一个队列)
 8 channel.queue_declare(queue=‘金品没‘)
 9 
10 def callback(ch, method, properties, body):
11     print("消费者接受到了任务: %r" % body.decode("utf-8"))
12     # int(‘asdfasdf‘)
13     # 我告诉rabbitmq服务端，我已经取走了消息
14     # 回复方式在这
15     ch.basic_ack(delivery_tag=method.delivery_tag)
16 # 关闭no_ack，代表给与服务端ack回复，确认给与回复
17 channel.basic_consume(callback,queue=‘金品没‘,no_ack=False)
18 
19 channel.start_consuming()

 1 路由关键字是sb,alex
 2 
 3 # -*- coding: utf-8 -*-
 4 # __author__ = "maple"
 5 import pika
 6 ?
 7 credentials = pika.PlainCredentials("root","123")
 8 connection = pika.BlockingConnection(pika.ConnectionParameters(‘123.206.16.61‘,credentials=credentials))
 9 channel = connection.channel()
10 ?
11 # exchange=‘m1‘,exchange(秘书)的名称
12 # exchange_type=‘fanout‘ , 秘书工作方式将消息发送给所有的队列
13 channel.exchange_declare(exchange=‘m2‘,exchange_type=‘direct‘)
14 ?
15 # 随机生成一个队列,队列退出时，删除这个队列
16 result = channel.queue_declare(exclusive=True)
17 queue_name = result.method.queue
18 ?
19 # 让exchange和queque进行绑定，只要
20 channel.queue_bind(exchange=‘m2‘,queue=queue_name,routing_key=‘alex‘)
21 channel.queue_bind(exchange=‘m2‘,queue=queue_name,routing_key=‘sb‘)
22 ?
23 ?
24 def callback(ch, method, properties, body):
25     print("消费者接受到了任务: %r" % body)
26 ?
27 channel.basic_consume(callback,queue=queue_name,no_ack=True)
28 ?
29 channel.start_consuming()
30 ?

 1 路由关键字sb
 2 
 3 # -*- coding: utf-8 -*-
 4 # __author__ = "maple"
 5 import pika
 6 ?
 7 credentials = pika.PlainCredentials("root","123")
 8 connection = pika.BlockingConnection(pika.ConnectionParameters(‘123.206.16.61‘,credentials=credentials))
 9 channel = connection.channel()
10 ?
11 # exchange=‘m1‘,exchange(秘书)的名称
12 # exchange_type=‘fanout‘ , 秘书工作方式将消息发送给所有的队列
13 channel.exchange_declare(exchange=‘m2‘,exchange_type=‘direct‘)
14 ?
15 # 随机生成一个队列
16 result = channel.queue_declare(exclusive=True)
17 queue_name = result.method.queue
18 ?
19 # 让exchange和queque进行绑定.
20 channel.queue_bind(exchange=‘m2‘,queue=queue_name,routing_key=‘sb‘)
21 ?
22 ?
23 def callback(ch, method, properties, body):
24     print("消费者接受到了任务: %r" % body)
25 ?
26 channel.basic_consume(callback,queue=queue_name,no_ack=True)
27 ?
28 channel.start_consuming()

 1 发送消息给匹配的路由，sb或者alex
 2 
 3 # -*- coding: utf-8 -*-
 4 # __author__ = "yugo"
 5 ?
 6 ?
 7 import pika
 8 credentials = pika.PlainCredentials("root","123")
 9 connection = pika.BlockingConnection(pika.ConnectionParameters(‘123.206.16.61‘,credentials=credentials))
10 channel = connection.channel()
11 ?
12 # 路由模式的交换机会发送给绑定的key和routing_key匹配的队列
13 channel.exchange_declare(exchange=‘m2‘,exchange_type=‘direct‘)
14 # 发送消息，给有关sb的路由关键字
15 channel.basic_publish(exchange=‘m2‘,
16                       routing_key=‘sb‘,
17                       body=‘aaaalexlaolelaodi‘)
18 ?
19 connection.close()

 1 import pika
 2 # 建立连接，服务器地址为localhost，可指定ip地址
 3 connection = pika.BlockingConnection(pika.ConnectionParameters(
 4     host=‘192.168.119.10‘))
 5 # 建立会话
 6 channel = connection.channel()
 7 # 声明RPC请求队列
 8 channel.queue_declare(queue=‘s14rpc‘)
 9 
10 # 模拟一个进程，例如切菜师傅，等着洗菜师傅传递数据
11 def sum(n):
12     n+=100
13     return n
14 # 对RPC请求队列中的请求进行处理
15 
16 
17 def on_request(ch, method, props, body):
18     print(body,type(body))
19     n = int(body)
20     print(" 正在处理sum(%s)" % n)
21     # 调用数据处理方法
22     response = sum(n)
23     # 将处理结果(响应)发送到回调队列
24     ch.basic_publish(exchange=‘‘,
25                      # reply_to代表回复目标
26                      routing_key=props.reply_to,
27                      # correlation_id（关联标识）：用来将RPC的响应和请求关联起来。
28                      properties=pika.BasicProperties(correlation_id= 29                                                          props.correlation_id),
30                      body=str(response))
31     ch.basic_ack(delivery_tag=method.delivery_tag)
32 
33 # 负载均衡，同一时刻发送给该服务器的请求不超过一个
34 channel.basic_qos(prefetch_count=1)
35 channel.basic_consume(on_request, queue=‘s14rpc‘)
36 print("等待接收rpc请求")
37 
38 
39 #开始消费
40 channel.start_consuming()