在上一节
《RabbitMQ集群类型一:在单节点上构建built-in内置集群》中我们已经学习过:在集群环境中,队列只有元数据会在集群的所有节点同步,但队列中的数据只会存在于一个节点,数据没有冗余且容易丢,甚至在durable的情况下,如果所在的服务器节点宕机,就要等待节点恢复才能继续提供消息服务。
那么是不是有消息冗余的解决方案呢?这就要提到从RabbitMQ 2.6.0版本开始提供支持
镜像队列(Mirrored Queue),消息会在rabbitmq节点之间的被创建为“镜像队列”的队列之间复制。和其它的主从设计一样,镜像队列也有master和slave的概念,一旦某个节点当掉,会在其余的节点中选举一个slave作为master。
在镜像队列(Mirrored Queue)中,只有master的copy对外提供服务,而其他slave copy只提供备份服务,在master copy所在节点不可用时,选出一个slave copy作为新的master继续对外提供服务。
之前我们也将过,rabbitmq会同过一种“选举”机制在余下的所有的salve中选出一个
理想总是简单,真实却总是复杂。如果我们要在运行时添加一个新的节点到集群中,消息复制会怎么处理?如果有新节点加入,RabbitMQ不会同步之前的历史数据,新结点只会复制该结点加入到集群之后新增消息.这里的假设是随着消息的被consumer取走,最终所有的节点的数据都会对齐一致。
接下来,一个自然的追问就“诞生”了:既然master节点退出集群会选一个slave作为master,那么如果不幸选中了一个刚刚加入集群的节点怎么办?那消息不就丢了吗!?这里您可以把心放到您的肚子里,RabbitMQ集群内部会维护节点的状态是否已经同步,使用rabbitmqctl的synchronised_slave_pids参数,就可以查看状态.如果slave_pids和synchronised_slave_pids里面的节点是一致的,那说明全都同步了.如果不一致很容易比较出来哪些还没有同步,
集群只会在“最老”的slave节点之间选一个出来作为新的master节点。
镜像队列分为两种:集群内全节点复制的镜像队列和集群内局部节点复制的镜像队列。先面我们就看一下如何创建镜像队列Mirrored Queue:其实很简单,只要在创建消息队列时,添加一个叫“x-ha-policy”的key/value对就可以了:
引用
//创建集群内全节点复制的镜像队列
...
queue_args = {'x-ha-policy' : 'all'}
channel.queue_declare(queue = 'hello-queue',arguments = queue_args)
...
//创建集群内局部节点复制的镜像队列
...
queue_args = {'x-ha-policy' : 'nodes',
'x-ha-policy-params' : [rabbit@JackyChen,rabbit3@JackyChen]}
channel.queue_declare(queue = 'hello-queue',arguments = queue_args)
...
下面我们通过实际的python代码并执行相关的操作来验证一下镜像队列:
引用
# mkdir -p /data/rabbitmq-pika/c5
# cd /data/rabbitmq-pika/c5
# touch hello_world_mirrored_producer.py
# chmod +x hello_world_mirrored_producer.py
# touch hello_world_mirrored_consumer.py
# chmod +x hello_world_mirrored_consumer.py
其中hello_world_mirrored_producer.py代码如下:
引用
#!/usr/bin/env python
#coding=utf-8
import pika,sys
from pika import spec
#在"/"虚拟主机vhost上通过用户guest建立channel通道
user_name = 'guest'
user_passwd = 'guest'
target_host = 'JackyChen'
vhost = '/'
cred = pika.PlainCredentials(user_name,user_passwd)
conn_params = pika.ConnectionParameters(target_host,
virtual_host = vhost,
credentials = cred)
conn_broker = pika.BlockingConnection(conn_params)
channel = conn_broker.channel()
#创建一个direct类型的、持久化的、没有consumer时队列是否自动删除的exchage交换机
channel.exchange_declare(exchange = 'hello-exch',
type = 'direct',
passive = False,
durable = True,
auto_delete = False)
#使用接收到的信息创建消息
msg = sys.argv[1]
msg_props = pika.BasicProperties()
msg_props.content_type = 'text/plain'
#持久化消息
msg_props.delivery_mode = 2
msg_ids = []
print 'ready to publish...'
#发布消息
channel.basic_publish(body = msg,
exchange = 'hello-exch',
properties = msg_props,
routing_key = 'hala')
print 'published!'
msg_ids.append(len(msg_ids) + 1)
print len(msg_ids)
channel.close()
conn_broker.close()
hello_world_mirrored_consumer.py代码如下:
引用
#!/usr/bin/env python
#coding=utf-8
import pika
#在"/"虚拟主机vhost上通过用户guest建立channel通道
user_name = 'guest'
user_passwd = 'guest'
target_host = 'JackyChen'
vhost = '/'
cred = pika.PlainCredentials(user_name,user_passwd)
conn_params = pika.ConnectionParameters(target_host,
virtual_host = vhost,
credentials = cred)
conn_broker = pika.BlockingConnection(conn_params)
conn_channel = conn_broker.channel()
#创建一个direct类型的、持久化的、没有consumer时,队列是否自动删除exchage交换机
conn_channel.exchange_declare(exchange = 'hello-exch',
type = 'direct',
passive = False,
durable = True,
auto_delete = False)
#创建一个持久化的、没有consumer时队列是否自动删除的名为“hello-queue”
#创建集群内全节点复制的镜像队列
queue_args = {'x-ha-policy' : 'all'}
#创建集群内局部节点复制的镜像队列
#queue_args = {'x-ha-policy' : 'nodes','x-ha-policy-params' : ['rabbit@JackyChen','rabbit3@JackyChen']}
conn_channel.queue_declare(queue = 'hello-queue',
durable = True,
auto_delete = False,
arguments = queue_args)
#将“hello-queue”队列通过routing_key绑定到“hello-exch”交换机
conn_channel.queue_bind(queue = 'hello-queue',
exchange = 'hello-exch',
routing_key = 'hala')
#定义一个消息确认函数,消费者成功处理完消息后会给队列发送一个确认信息,然后该消息会被删除
def ack_info_handler(channel,method,header,body):
"""ack_info_handler """
print 'ack_info_handler() called!'
if body == 'quit':
channel.basic_cancel(consumer_tag = 'hello-hala')
channel.stop_sonsuming()
else:
print body
channel.basic_ack(delivery_tag = method.delivery_tag)
conn_channel.basic_consume(ack_info_handler,
queue = 'hello-queue',
no_ack = False,
consumer_tag = 'hello-hala')
print 'ready to consume msg...'
conn_channel.start_consuming()
打开rabbitmq集群中所有节点:
引用
# /opt/mq/rabbitmq/sbin/rabbitmqctl start_app
# /opt/mq/rabbitmq2/sbin/rabbitmqctl start_app
# /opt/mq/rabbitmq3/sbin/rabbitmqctl start_app
然后执行:
引用
# ./hello_world_mirrored_consumer.py
# ./hello_world_mirrored_producer.py
注意:上面是rabbitmq 3.0之前的创建镜像队列的方法,3.0之后改为通过
引用
//给所有以“hello”开头为名创建的消息队列设置为集群内全节点复制的镜像队列
# ./rabbitmqctl set_policy ha-all2 "^hello.*" '{"ha-mode":"all"}'
创建集群内局部节点复制的镜像队列:
引用
# ./rabbitmqctl set_policy ha-all "^halo.*" '{"ha-mode":"nodes","ha-params":["rabbit@JackyChen","rabbit3@JackyChen"]}'
另外还有一种的镜像队列:
引用
//只指定在整个集群节点中只包含count = n 个镜像的镜像列表
# ./rabbitmqctl set_policy ha-all3 "^alert.*" '{"ha-mode":"exactly","count":2}'
已有 0 人发表留言,猛击->> 这里<<-参与讨论
ITeye推荐