集群式、负载均衡的RPC框架 rpcx支持多种的序列化库，可以有效的减少消息体的大小，但是对于字符串或者图片的字节slice，明显还可以进一步的压缩，正如fasthttp作者valyala在他的新的开源项目 httpteleport中描述的： 通过1G的带宽传输10G的数据 (夸张)。
为了在RPC的传输中减少传输的数据大小，我在不影响rpcx整体框架的基础上，参考了httpteleport的实现，对 net.TCPConn进行了封装，实现了压缩/解压缩功能的 net.Conn，可以有效的减少带宽，节省公司在带宽上的花费， 以下就是具体的实现。
首先介绍两种压缩格式。
zip 是常用的一种压缩格式，Go标准库中提供了它的 实现。zip原名Deflate，发明者为菲尔·卡茨（Phil Katz），他于1989年1月公布了该格式的资料。ZIP通常使用后缀名“.zip”，它的MIME格式为application/zip。目前，ZIP格式属于几种主流的压缩格式之一。
snappy（以前称Zippy）是Google基于 LZ77的思路用C++语言编写的快速数据压缩与解压程序库，并在2011年开源。它的目标并非最大压缩率或与其他压缩程序库的兼容性，而是非常高的速度和合理的压缩率。使用一个运行在64位模式下的酷睿i7处理器的单个核心，压缩速度250 MB/s，解压速度500 MB/s。压缩率比gzip低20-100%。Golang也提供了snappy的 实现。
所以在压缩比和速度的权衡中你可以选择zip格式压缩或者snappy格式压缩。
定义这几种格式：
1 2 3 4 5 6 7 8 9 10 | type CompressType byte const ( // CompressNone represents no compression CompressNone CompressType = iota // CompressFlate represents zip CompressFlate // CompressSnappy represents snappy CompressSnappy ) |
然后定义 CompressConn类型，它嵌入了一个匿名 net.Conn类型的字段，作为 net.Conn的包装，因此它满足 net.Conn接口。
其中的 r、 w可以实现压缩读写，CompressType定义了压缩类型。
1 2 3 4 5 6 | type CompressConn struct { net.Conn r io.Reader w io.Writer compressType CompressType } |
覆盖 net.Conn的读写方法：
1 2 3 4 5 6 7 | func (c *CompressConn) Read(b []byte) (n int, err error) { return c.r.Read(b) } func (c *CompressConn) Write(b []byte) (n int, err error) { return c.w.Write(b) } |
NewCompressConn是辅助创建方法：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | func NewCompressConn(conn net.Conn, compressType CompressType) net.Conn { cc := &CompressConn{Conn: conn} r := io.Reader(cc.Conn) switch compressType { case CompressNone: case CompressFlate: r = flate.NewReader(r) case CompressSnappy: r = snappy.NewReader(r) } cc.r = r w := io.Writer(cc.Conn) switch compressType { case CompressNone: case CompressFlate: zw, err := flate.NewWriter(w, flate.DefaultCompression) if err != nil { panic(fmt.Sprintf("BUG: flate.NewWriter(%d) returned non-nil err: %s", flate.DefaultCompression, err)) } w = &writeFlusher{w: zw} case CompressSnappy: w = snappy.NewWriter(w) } cc.w = w return cc } |
对于 zip格式的写，写完后我们需要立即 Flush,所以也需要对它包装一下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | type writeFlusher struct { w *flate.Writer } func (wf *writeFlusher) Write(p []byte) (int, error) { n, err := wf.w.Write(p) if err != nil { return n, err } if err := wf.w.Flush(); err != nil { return 0, err } return n, nil } |
这样我们就实现了一个可以解压缩/压缩的读写 net.Conn对象，你可以通过 NewCompressConn方法对一个正常的 net.TCPConn进行包装，而对它的调用就像一个普通的 net.Conn一样。