RPC 使用中的一些注意点

标签: RPC 程序员 blog | 发表时间:2016-12-25 08:00 | 作者:
出处:http://mindwind.me/

最近线上碰到一点小问题,分析其原因发现是出在对 RPC 使用上的一些细节掌握不够清晰导致。很多时候我们做业务开发会把 RPC 当作黑盒机制来使用,但若不对黑盒的工作原理有个基本掌握,也容易犯一些误用的微妙错误。

虽然曾经已经写过一篇 《RPC 的概念模型与实现解析》 从概念模型和实现细节上讲述了 RPC 的原理,这一篇就从使用上的一些注意点来捋一捋吧。

同步

RPC 的调用通常为了方便使用,会被伪装成普通方法调用的形式。但实际二者之间存在巨大的差异,进程内的方法调用的时间量级是 ns(纳秒),而进程间的 RPC 方法调用时间量级通常是 ms(毫秒),它们之间差着 10 的六次方呢。RPC 的冰山底部透视图如下:

但在目前流行的微服务架构模式下,跨服务的同步调用隐藏着巨大的风险。一般微服务化架构下,通常一个业务的调用会跨 N(N 一般大于 2) 个服务进程,整个调用链路上的同步调用等待的瓶颈会由最慢(或脆弱)的服务决定,A-B-C 像这样一个链路,A 同步调用 B 并等待返回,B 同步调用 C 并等待返回,以此类推,就像一组齿轮链,级级传动,这很容易产生雪崩效应。若 C 服务挂住了,会导致前面的服务全部都因为等待超时而占用大量不必要的线程资源。

因此,微服务架构下,内部主服务链之间的 RPC 调用需要异步化,服务之间的调用请求和等待结果相互之间解耦,如下是一个服务链路调用的示意图:

外部用户通过服务网关(API Gateway)发起调用并等待结果,随后网关派发调用请求给后续服务,其主调用链路为 A-B-C,其内部为异步调用,链路上不等待,最后由 C 返回结果给服务网关。其中 B 又依赖两个子服务,S1 和 S2,B 需要 S1 和 S2 的返回结果才能发起 C 调用,因此在支线上 B 针对 S1 和 S2 调用就需要是同步的。

异步

RPC 的同步调用确保请求送达对方并收到对方响应,若没有收到响应,框架则抛出 Timeout 异常。这种情况下调用方是无法确定调用是成功还是失败的,需要根据业务场景(是否可重入,幂等)选择重试和补偿策略。

而 RPC 的异步调用意味着 RPC 框架不阻塞调用方线程,调用方不需要立刻拿到返回结果,甚至调用方根本就不关心返回结果。RPC 的异步交互场景示意图如下:

在上面的示意图中,对于是否需要返回值的异步请求,其中的细微差异在于是否返回一个 Future 对象给调用方,以便未来(Future)调用方可以再通过它来获取返回值。正是因为这种 Future 机制的存在,所以针对前面(图2)中 S1 和 S2 的调用就可以采用一种异步并行的调用机制来提升并行性和性能,如下图所示:

这样调用 S1 和 S2 的总时间就由最慢的一个服务响应时间来决定了。(上图中其实调用 S1 和 S2 不可能做到同时,有细微的时间差异,但相对跨进程的调用本身来说这种差异基本忽略不计。)

线程

RPC 的线程模型一般如下所示:

其中,RPC 的网络层通常采用非阻塞型 I/O 模型,放在 Java 的实现语境下就是 NIO 了。而 RPC 框架通常共享一个 I/O 线程池,处理所有连接上的 I/O 事件派发。通常业务事件会派发到内部的一个固定大小(可配置)的业务执行线程池,再由业务执行线程调用应用实现层的代码。

但有些 RPC 框架在实现客户端的 I/O 线程模型时,也采用了针对每个不同的服务端一个独立的 I/O 线程池,这样就变成了下面这个图所示:

这带来了一个潜在的问题,在一个客户端需要连接大量服务端时(这在基于 RPC 实现的服务框架中很常见),客户端的 I/O 线程池数就和需连接的服务数相等。在现在的微服务部署模式下,一般一个服务部署在一个 Docker 容器中,同一个服务会有很多个(几十上百个)进程共同组成集群提供服务,这样就导致客户端 I/O 线程数可能会很多。

而在 Docker 环境下 Java 的 Runtime.availableProcessors() 获取的 CPU 数量实际是物理机的,而不是 Docker 隔离的核数。另外,像 Netty 这样的网络框架经常默认是基于 CPU 核数来启动默认的 I/O 线程数的,所以导致针对每个服务的客户端会启动 CPU 核数个 I/O 线程再乘上服务实例数,这个线程数量也是颇为客观,出现单进程好几千固化的线程,线程调度和切换的成本颇高,另外服务的水平扩展性也有一定的受限。这也是需要注意的另一点。

在曾经那篇 《RPC 的概念模型与实现解析》 的的结尾,我曾写到:

无论 RPC 的概念是如何优雅,但是“草丛中依然有几条蛇隐藏着”,只有深刻理解了 RPC 的本质,才能更好地应用。

所以这一篇大概就是抓出了几条隐藏着的蛇吧。


写点文字,画点画儿,记录成长瞬间。 微信公众号「瞬息之间」,既然遇见,不如一起成长。

相关 [rpc 注意] 推荐:

RPC 使用中的一些注意点

- - mindwind
最近线上碰到一点小问题,分析其原因发现是出在对 RPC 使用上的一些细节掌握不够清晰导致. 很多时候我们做业务开发会把 RPC 当作黑盒机制来使用,但若不对黑盒的工作原理有个基本掌握,也容易犯一些误用的微妙错误. 虽然曾经已经写过一篇 《RPC 的概念模型与实现解析》 从概念模型和实现细节上讲述了 RPC 的原理,这一篇就从使用上的一些注意点来捋一捋吧.

Hadoop RPC机制

- - 企业架构 - ITeye博客
RPC(Remote Procedure Call Protocol)远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议. Hadoop底层的交互都是通过 rpc进行的. 例如:datanode和namenode 、tasktracker和jobtracker、secondary namenode和namenode之间的通信都是通过rpc实现的.

JAVA RPC 通讯框架

- - 经验沉淀 知识结晶
Bison 是一个JAVA 程间的通信框架,基于apache mina 实现,对mina进行了byteBuffer 缓冲区重用以及半包出处时减少拷贝. 客户端(bison-client) 功能点. 2 支持高用性:高可用的一个基本原则,可以接受快速的失败,但不能接受长时间的等待. Githup地址:https://github.com/gavenpeng/Bison.

Avro RPC 对比测试

- - 行业应用 - ITeye博客
J2EE平台常采用多层分布式的架构体系. 分布式服务节点之间需要通讯和交互(业务节点和资源节点之间),服务端和客户端需要交互(终端客户端需要调用服务端的远程服务,客户端有C实现的,也有Java等其他语言实现的). 因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组件. 稳定,高性能;作为一个基础性的骨架组件,高可用性和高性能是必备的;传输层希望是面向连接的TCP通信.

RPC原理详解 - 永志

- - 博客园_首页
RPC 的主要功能目标是让构建分布式计算(应用)更容易,在提供强大的远程调用能力时不损失本地调用的语义简洁性.  为实现该目标,RPC 框架需提供一种透明调用机制让使用者不必显式的区分本地调用和远程调用. 下面我们将具体细化 stub 结构的实现. 客户方等待调用执行完成并返回结果. 客户方调用后不用等待执行结果返回,但依然可以通过回调通知等方式获取返回结果.

zmq-rpc:基于zeromq网络层编写的protobuf RPC框架

- Shengbin - codedump
阅读过zmq的代码之后,感觉这个网络层是我目前见过最高效的–线程之间使用lockfree的消息队列保存消息,可以启动多个I/O线程分担压力等等特性.于是决定基于它写一个protobuf RPC的框架.. 另外,这里使用的protobuf是旧版本2.3.0,新版本2.4.1的生成的RPC service接口跟原来不太一致,暂时还没有去研究它.BTW,升级版本之后导致原来的接口发生变化这是一个很操蛋的事情..

【RPC框架HttpInvoker一】HttpInvoker:Spring自带RPC框架

- - 开源软件 - ITeye博客
HttpInvoker是Spring原生的RPC调用框架,HttpInvoker同Burlap和Hessian一样,提供了一致的服务Exporter以及客户端的服务代理工厂Bean,这篇文章主要是复制粘贴了Hessian与Spring集成一文,. 【RPC框架Hessian四】Hessian与Spring集成.

集成libevent,google protobuf的RPC框架

- goodman - C++博客-那谁的技术博客
chenshuo的evproto同样也是集成libevent与google protobuf的RPC框架,不过在对libevent的使用上,这里的做法与他不尽相同:. 1) 他使用了libevent自带的RPC功能, 而这里只使用到libevent对网络I/O进行的封装的最基本的功能.. eventrpc项目目前是avidya下的一个子项目,avidya项目的定位是实现一些分布式的玩具系统(比如google已经公开论文的chubby,mapreduce,GFS等),也许以后不一定能被用上,但是也要实践做一把.由于有一个好用的RPC框架是做分布式的必需品,所有首先实现eventrpc这个子项目了,以后也许还会实现其他语言的版本,如python,java..

NFS-RPC框架优化过程

- EricSheng - BlueDavy之技术blog
NFS-RPC框架从编写之初,到现在为止(应该还会有些提升,不过估计不大),每秒支撑的请求数上升了好几倍,测试结果的演变为:. 以上测试结果为在100并发、100 request byte、100 response byte以及单连接下的背景下得出的,在这篇blog中来分享下这个框架所做的一些优化动作,希望能给编写rpc框架或使用mina/netty/grizzly的同学们一点点帮助,也希望得到高手们更多的指点.

RPC、ORB、MOM三类中间件比较

- - 互联网 - ITeye博客
网上漫无目的的爬文档看,发现Oracle一篇《面向消息的中间件 (Message-Oriented Middleware, MOM). 》讲得不错,摘部分内容出来,大家分享,我也留个备份.  中间件可以划分为以下几类:. 基于远程过程调用 (Remote Procedure Call, RPC) 的中间件,允许一个应用程序中的过程调用远程应用程序中的过程,就好像它们是本地调用一样.