[转][转]ZeroMQ 深度探索
作者:shagoo
来源:
http://blog.csdn.net/shagoo/article/details/8964009
http://blog.csdn.net/shagoo/article/details/9211765
序
最初认识 ZeroMQ 是被它的名号所吸引,最近在一个高性能中间件的项目中用到了 ZeroMQ,对这个号称“史上最快的消息队列”有了更深层次的了解。如果我们仅仅把 ZeroMQ 看作是一个消息队列,那就完全搞错了,ZeroMQ 是一套智能传输层协议,它不仅为开发者提供了强大的开发包,还包含了一套很棒的通信协议的实现,更值得一提是,它对分布式系统开发有着相当独到的见解,绝对值得我们好好学习。ZeroMQ 的最终目标是加入 Linux 内核,目前 ZeroMQ 已经出现在 YUM 中,相信 ZeroMQ 的未来会越来越美好!
ZeroMQ 特点介绍
1、支持高并发的异步 Socket 框架
2、协议比 TCP 更快、适用于大型集群和分布式计算
3、提供多种消息传递机制,如 inproc/IPC/TCP/multicast 等
4、内置丰富的组合模式,可用于简化大型分步式计算架构
5、提供异步 I/O 模式,适用于可扩展的多核应用开发
6、拥有活跃的开发者社区提供技术支持,发展相当迅速
7、支持超过 30 种的编程语言,如 C/C++/Java/.NET/Python/PHP 等
8、良好的跨平台性,支持多种 OS,如 Linux/Windows/OS X 等
9、拥有 iMatix 公司的商业级别支持,却是完全免费的
ZeroMQ 设计哲学
综合来说,ZeroMQ 的设计哲学在于“权衡”两字,其实 ZeroMQ 的名字就体现了这一点。“Zero”表示从零开始,也就是从无到有;ZeroMQ 不提供现成的安装套件(比如broker),这也意味着使用者必须自己来构建需要的套件,这种做法各有利弊;“利”在于使用者可以自由的构造属于自己的分布式系统,而“弊”则在于门槛比较高,对于不熟悉编程的使用者来说就麻烦大了。不过,相比与通过功能迭代来实现复杂需求的方案来说,ZeroMQ 更倾向于从根本上解决问题,这也正体现了 ZeroMQ 创始人 Pieter Hintjens 的设计哲学。
ZeroMQ 面向用户
ZeroMQ 是为那些对大型分布式系统感兴趣的开发者们而生的!假如你熟悉 C 语言,那么使用 ZeroMQ 将是件非常享受的事情,因为 ZeroMQ 开发包中已经包含了非常丰富的 C 语言的使用范例,有经验的开发者可以快速入手。使用 ZeroMQ 可以为我们节省下大量的编码时间,当然在此之前,我们需要把 ZeroMQ 的基础知识和用法理解透彻,否则误用或者错用的话,后果将是“很严重”的!接下来,我们开始学习 ZeroMQ 的基础知识。
ZeroMQ 学前必读
ZeroMQ 究竟是什么?也许我们应该先“大肆吹嘘”一番,但这显然是毫无意义的,也不是我们技术人员的本色。简单来说,ZeroMQ 是一个更小、更快、更简单的智能传输层协议,它可以帮助我们简化原本非常复杂的事情,实际上,这也就是当初设计 ZeroMQ 时的初衷。
今天,我们的世界变得越来越复杂,我们使用的软件也在随着人类社会的变化而演变。可以预见到的是,未来的软件系统将会变得越来越庞大,就像人类的大脑一样,错综复杂;这个时候,我们必须得把问题分解开来,逐个击破,否则,软件最终只能变成可怕的巨兽,把一切都搞砸。分而治之,讲的就是这个道理,这也就是我们需要分布式系统的原因。
在分布式系统中,代码之间需要通信,此时我们就必须使用网络、协议、线程这些工具来实现;然而,现实情况是,即使我们已经拥有了这些工具,但实现起来仍然非常费功夫。目前业界可用的网络协议比较有限,比如 TCP/UDP/HTTP/Websocket 等;这些协议要么太复杂,要么太笨重,也许我们会抱怨道,难道没有其他的选择了吗?ZeroMQ 是否会是我们期待的答案?下面,让我们回到两个最基本的问题上,一是如何实现代码之间需要通信,二是如何让通信变得更简单高效。
ZeroMQ HelloWorld
接下来,我们先从一个最简单的例子,即 HelloWorld 项目讲起。这就是网络请求中最基本的“请求-响应”模式(Request-Reply),客户端往服务端发送“Hello”,服务端回应“World”,如图1-1。
以下是 HelloWorld 项目的服务端代码(hwserver.c),熟悉 Socket 编程的同学应该很容易理解其中的语法,即使用 TCP 协议,监听 5555 端口,然后不停地接受、打印并返回信息,每次处理后停止 1 秒。
- // Hello World server
- #include <zmq.h>
- #include <stdio.h>
- #include <unistd.h>
- #include <string.h>
- #include <assert.h>
- int main (void)
- {
- // Socket to talk to clients
- void *context = zmq_ctx_new ();
- void *responder = zmq_socket (context, ZMQ_REP);
- int rc = zmq_bind (responder, "tcp://*:5555");
- assert (rc == 0);
- while (1) {
- char buffer [10];
- zmq_recv (responder, buffer, 10, 0);
- printf ("Received Hello\n");
- zmq_send (responder, "World", 5, 0);
- sleep (1); // Do some 'work'
- }
- return 0;
- }
以下是 HelloWorld 项目的客户端代码(hwclient.c),逻辑也很简单,向服务端连续发送 10 条消息,接受并打印返回信息。
- // Hello World client
- #include <zmq.h>
- #include <string.h>
- #include <stdio.h>
- #include <unistd.h>
- int main (void)
- {
- printf ("Connecting to hello world server…\n");
- void *context = zmq_ctx_new ();
- void *requester = zmq_socket (context, ZMQ_REQ);
- zmq_connect (requester, "tcp://localhost:5555");
- int request_nbr;
- for (request_nbr = 0; request_nbr != 10; request_nbr++) {
- char buffer [10];
- printf ("Sending Hello %d…\n", request_nbr);
- zmq_send (requester, "Hello", 5, 0);
- zmq_recv (requester, buffer, 10, 0);
- printf ("Received World %d\n", request_nbr);
- }
- zmq_close (requester);
- zmq_ctx_destroy (context);
- return 0;
- }
服务端代码的运行结果如图1-2。
客户端代码的运行结果如图1-3。
运行结果很容易理解,这就是一个标准的“请求-响应”模式的例子。从中我们可以看到使用 ZeroMQ 的类库实现起来还是很简单的,和基础 Socket 库的用法差不多,实现的功能也差不了多少,但是事实是否如此呢?在下一篇《 ZeroMQ 深度探索(二)》中我们将深入讨论这个问题,未完待续...
TIP:建议大家使用 3.2 以上的版本进行开发。以后所有的的例子都是基于 C 语言的。所有的示例代码可以通过“git clone --depth=1 git://github.com/imatix/zguide.git”获取。
在上一篇《 ZeroMQ 深度探索(一)》中,我们使用 ZeroMQ 完成了基本的“请求-响应”模式,这个例子是基于 TCP 协议的,用法和原生的 Socket API 也差不多,都是“初始化、绑定或连接、发送、接收 ...”的流程,但是在一些特殊的情况下,我们发现了一些有趣的现象。我们尝试在未启动服务端(hwserver)的情况下运行客户端(hwclient),我们发现客户端程序在发送了第一条信息之后就阻塞住了,如图2-1。
图2-1
接着,我们再启动服务端程序,发现客户端程序又开始正常运行了,连续发了 10 条消息后退出。这种现象似乎和 Socket API 的 TCP 通信行为不大相同,接下来我们来验证一下。我们使用 Socket API 来实现一个与前面相同的“请求-响应”模式的例子。下面是服务端代码(hwserver2.c),逻辑和之前的 hwserver.c 类似,监听 6666 端口,不停地接受、打印并返回信息,每次处理后停止 1 秒。
- #include <stdio.h>
- #include <stdlib.h>
- #include <unistd.h>
- #include <sys/types.h>
- #include <sys/socket.h>
- #include <string.h>
- #include <arpa/inet.h>
- #define PORTNUM 6666
- #define CONNMAX 5
- #define BUFFSIZE 32
- #define die(err) { perror(err); exit(1); }
- void c_action(int sock)
- {
- char buffer[BUFFSIZE];
- int received = -1;
- char *send_s = "World";
- // 接收消息
- while ((received = recv(sock, buffer, BUFFSIZE, 0)) > 0) {
- buffer[received] = 0;
- printf ("Recv %s\n", buffer);
- // 发送反馈
- if (send(sock, send_s, received, 0) != received) {
- die("failed to send");
- }
- printf ("Send %s\n", send_s);
- sleep(1);
- }
- close(sock);
- }
- int main(void)
- {
- struct sockaddr_in s_addr, c_addr;
- int s_sock, c_sock;
- if ((s_sock = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0) {
- die("failed to create socket");
- }
- memset(&s_addr, 0, sizeof(s_addr));
- s_addr.sin_port = htons(PORTNUM);
- s_addr.sin_family = AF_INET;
- if (bind(s_sock, (struct sockaddr *)&s_addr, sizeof(s_addr)) < 0) {
- die("failed to bind");
- }
- if (listen(s_sock, CONNMAX) < 0) {
- die("failed to listen");
- }
- while (1) {
- unsigned int c_addr_len = sizeof(c_addr);
- if ((c_sock = accept(s_sock, (struct sockaddr *)&c_addr, &c_addr_len)) < 0) {
- die("failed to accept");
- }
- c_action(c_sock);
- }
- close(s_sock);
- return 0;
- }
- #include <stdio.h>
- #include <stdlib.h>
- #include <unistd.h>
- #include <sys/types.h>
- #include <sys/socket.h>
- #include <string.h>
- #include <arpa/inet.h>
- #define PORTNUM 6666
- #define BUFFSIZE 32
- #define die(err) { perror(err); exit(1); }
- int main(void)
- {
- int c_sock;
- struct sockaddr_in c_addr;
- char buffer[BUFFSIZE];
- int msgcount, received;
- if ((c_sock = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0) {
- die("failed to create socket");
- }
- memset(&c_addr, 0, sizeof(c_addr));
- c_addr.sin_port = htons(PORTNUM);
- c_addr.sin_family = AF_INET;
- if (connect(c_sock, (struct sockaddr *)&c_addr, sizeof(c_addr)) < 0) {
- die("failed to connect");
- }
- msgcount = 0;
- char *send_s = "Hello";
- int len_i = strlen(send_s);
- while (msgcount < 10) {
- received = 0;
- // 发送消息
- if (send(c_sock, send_s, len_i, 0) != len_i) {
- die("failed to send");
- }
- printf("Send %s\n", send_s);
- // 接收反馈
- while(received < len_i){
- int bytes = 0;
- if ((bytes = recv(c_sock, buffer, BUFFSIZE-1, 0)) < 1) {
- die("failed to recv");
- }
- received += bytes;
- buffer[bytes] = '\0';
- printf("Recv %s\n", buffer);
- }
- msgcount++;
- }
- close(c_sock);
- return 0;
- }
图2-2
TIP:关于 hwserver 和 hwclient 的代码请参考《ZeroMQ 深度探索(一)》
从以上现象可以看出,ZeroMQ 的 zmq_connect 方法其实只是建立了一个“虚连接”,和 Socket 的 connect 方法完全不同;实际上,从 ZeroMQ 的源码中也可以看出这点。起初我也感觉这个逻辑很奇怪,但实际上正因为有了这个特性,当我们使用 ZeroMQ 构建分布式系统的时候就不需要关心节点启动先后顺序的问题,为我们提供了不少便捷。但是,如果不善用这个特性极有可能导致严重的问题。比如,我们想使用 ZeroMQ 进行无状态模式发送,即类似于 HTTP 的“发送-接收-结束”的模式;假如在发送的过程中网络断线了,就会导致大量请求被阻塞住,严重者可导致服务器资源被耗尽!
如果要解决以上问题,一般的思路是设置超时,ZeroMQ 可以通过使用 zmq_poll 方法或者设置 ZMQ_LINGER 参数来设置请求超时,但是这也可能导致一些问题。超时时间设置太小容易丢失数据,设置太长又会影响运行效率,我们需要的是一个更可靠的网络通信方案。一种简单直接的方式就是对客户端程序进行改造,使之在不稳定的网络环境中也可以稳定运行,请参考以下代码实现。
- #include <zmq.h>
- #include <stdio.h>
- #include <unistd.h>
- #include <string.h>
- #include <assert.h>
- int main (void)
- {
- // Socket to talk to clients
- void *context = zmq_ctx_new ();
- void *responder = zmq_socket (context, ZMQ_REP);
- int rc = zmq_bind (responder, "tcp://*:5555");
- assert (rc == 0);
- char buffer [10];
- char *send_s = "World";
- while (1) {
- // 接收消息
- zmq_recv (responder, buffer, 10, 0);
- buffer[5] = 0;
- printf ("Recv %s\n", buffer);
- // 发送反馈
- zmq_send (responder, send_s, 5, 0);
- printf ("Send %s\n", send_s);
- sleep(1);
- }
- return 0;
- }
然后就是改造过的 ZeroMQ 的客户端代码(hwclient3.c)了,客户端的改动就大了,以下是其主要逻辑要点:
1、循环发送“Hello”字符串到服务端,然后接收返回的字符串“World”并打印出来。
2、当发现连不上服务端时,重试 3 次;如果仍然连不上,则主动结束客户端。
3、设置 ZMQ_LINGER 为 1 毫秒,表示连接不上,立即返回,不会阻塞。
- #include <zmq.h>
- #include <string.h>
- #include <stdio.h>
- #include <unistd.h>
- #define SERVER_ENDPOINT "tcp://localhost:5555"
- #define REQUEST_TIMEOUT 3000 // msecs, (> 1000!)
- #define REQUEST_RETRIES 3 // retry before we abandon
- void *zmq_socket_new (void *context)
- {
- int linger = 1;
- void *zsocket = zmq_socket (context, ZMQ_REQ);
- zmq_setsockopt(zsocket, ZMQ_LINGER, &linger, sizeof(linger));
- zmq_connect (zsocket, SERVER_ENDPOINT);
- return zsocket;
- }
- int main (void)
- {
- void *context = zmq_ctx_new ();
- void *zsocket = zmq_socket_new(context);
- char buffer [255];
- char *send_s = "Hello";
- int retries_left = REQUEST_RETRIES;
- while (retries_left) {
- // 发送消息
- zmq_send (zsocket, send_s, strlen(send_s), 0);
- printf ("Send %s\n", send_s);
- // 重试次数
- int expect_reply = 1;
- while (expect_reply) {
- // 停止重试
- if (retries_left == 0) {
- printf("Server offline, abandoning ...\n");
- break;
- }
- // 多路复用
- zmq_pollitem_t items [] = { { zsocket, 0, ZMQ_POLLIN, 0 } };
- int rc = zmq_poll (items, 1, REQUEST_TIMEOUT);
- if (rc == -1) break; // Interrupted
- if (items [0].revents & ZMQ_POLLIN) {
- // 接收反馈
- int size = zmq_recv (zsocket, buffer, 10, 0);
- if (size > 255) size = 255;
- buffer[size] = 0;
- printf ("Recv %s\n", buffer);
- if (buffer) {
- retries_left = REQUEST_RETRIES;
- expect_reply = 0;
- }
- }
- // 重试连接
- else {
- printf("Retry connecting ...\n");
- zmq_close (zsocket);
- zsocket = zmq_socket_new(context);
- // 重发消息
- zmq_send (zsocket, send_s, strlen(send_s), 0);
- printf ("Send %s\n", send_s);
- --retries_left;
- }
- }
- }
- zmq_close (zsocket);
- zmq_ctx_destroy (context);
- return 0;
- }
图2-3
以上的设计模式被我们称之为“客户端信任”的模式,通过这种设计,我们建立了一个可控的、相对稳定的 C/S 通信模型。当然,从以上代码中我们也可以看到 ZeroMQ 中多路复用的用法,也就是 int zmq_poll (zmq_pollitem_t *items, int nitems, long timeout); 方法的使用,三个参数分别是 poll 项列表、poll 项个数以及 poll 超时时间(毫秒),其中 zmq_pollitem_t 的结构如下:
typedef struct
{
void //*socket//;
int //fd//;
short //events//;
short //revents//;
} zmq_pollitem_t;
此外,ZeroMQ 支持多种多路复用模式(参考源码 poller.hpp),列举如下:
1、select(支持unix/windows)
2、poll(支持unix)
3、epoll(支持linux)
4、kqueue(支持freebsd)
5、devpoll(zmq自研的poll)
其中,Linux 下默认使用的是 epoll 方式;当然,在编译的时候也可以通过 --with-poller 参数来配置所需的多路复用模式。话说回来,ZeroMQ 的网络通信模型和 Socket 还是有很多不同的,使用的时候一定要特别注意。在下篇中我们将介绍 ZeroMQ 消息的包装方式,进一步理解 ZeroMQ 网络通信的细节,学习其构建分布式系统的理念。