100万并发连接服务器笔记之1M并发连接目标达成

标签： 并发 服务器 笔记 | 发表时间：2013-04-11 09:01 | 作者：nieyong
出处：http://www.blogjava.net/

第四个遇到的问题：tcp_mem

在服务端，连接达到一定数量，诸如50W时，有些隐藏很深的问题，就不断的抛出来。 通过查看 dmesg命令查看，发现大量 TCP: too many of orphaned sockets错误，也很正常，下面到了需要调整tcp socket参数的时候了。

第一个需要调整的是tcp_rmem，即TCP读取缓冲区，单位为字节，查看默认值

  cat /proc/sys/net/ipv4/tcp_rmem
4096 87380 4161536

默认值为87380bit ≈ 86K，最小为4096bit=4K，最大值为4064K。

第二个需要调整的是tcp_wmem，发送缓冲区，单位是字节，默认值

  cat /proc/sys/net/ipv4/tcp_wmem
4096 16384 4161536

解释同上

第三个需要调整的tcp_mem，调整TCP的内存大小，其单位是页，1页等于4096字节。系统默认值：

  cat /proc/sys/net/ipv4/tcp_mem
932448 1243264 1864896

tcp_mem(3个INTEGER变量)：low, pressure, high

  • low：当TCP使用了低于该值的内存页面数时，TCP不会考虑释放内存。
  • pressure：当TCP使用了超过该值的内存页面数量时，TCP试图稳定其内存使用，进入pressure模式，当内存消耗低于low值时则退出pressure状态。
  • high：允许所有tcp sockets用于排队缓冲数据报的页面量，当内存占用超过此值，系统拒绝分配socket，后台日志输出“TCP: too many of orphaned sockets”。

一般情况下这些值是在系统启动时根据系统内存数量计算得到的。 根据当前tcp_mem最大内存页面数是1864896，当内存为(1864896*4)/1024K=7284.75M时，系统将无法为新的socket连接分配内存，即TCP连接将被拒绝。

实际测试环境中，据观察大概在99万个连接左右的时候(零头不算)，进程被杀死，触发out of socket memory错误（dmesg命令查看获得）。每一个连接大致占用7.5K内存（下面给出计算方式），大致可算的此时内存占用情况（990000 * 7.5 / 1024K = 7251M)。

这样和tcp_mem最大页面值数量比较吻合，因此此值也需要修改。

三个TCP调整语句为:

  echo "net.ipv4.tcp_mem = 786432 2097152 3145728">> /etc/sysctl.conf
echo "net.ipv4.tcp_rmem = 4096 4096 16777216">> /etc/sysctl.conf
echo "net.ipv4.tcp_wmem = 4096 4096 16777216">> /etc/sysctl.conf

备注： 为了节省内存，设置tcp读、写缓冲区都为4K大小， tcp_mem三个值分别为3G 8G 16G， tcp_rmem和 tcp_wmem最大值也是16G。

目标达成

经过若干次的尝试，最终达到目标，1024000个持久连接。1024000数字是怎么得来的呢，两台物理机器各自发出64000个请求，两个配置为6G左右的centos测试端机器(绑定7个桥接或NAT连接)各自发出64000 7 = 448000。也就是 1024000 = (64000) + (64000) + (640007) + (64000*7), 共使用了16个网卡（物理网卡+虚拟网卡）。
终端输出

  ......
online user 1023990
online user 1023991
online user 1023992
online user 1023993
online user 1023994
online user 1023995
online user 1023996
online user 1023997
online user 1023998
online user 1023999
online user 1024000

在线用户目标达到1024000个！

服务器状态信息

服务启动时内存占用：

     
                 total       used       free     shared    buffers     cached    
     Mem:         10442        271      10171          0         22         78    
     -/+ buffers/cache:        171      10271    
     Swap:         8127          0       8127

系统达到1024000个连接后的内存情况（执行三次 free -m 命令，获取三次结果）：

     
                 total       used       free     shared    buffers     cached    
     Mem:         10442       7781       2661          0         22         78    
     -/+ buffers/cache:       7680       2762    
     Swap:         8127          0       8127    
     
                  total       used       free     shared    buffers     cached    
     Mem:         10442       7793       2649          0         22         78    
     -/+ buffers/cache:       7692       2750    
     Swap:         8127          0       8127    
     
                  total       used       free     shared    buffers     cached    
     Mem:         10442       7804       2638          0         22         79    
     -/+ buffers/cache:       7702       2740    
     Swap:         8127          0       8127

这三次内存使用分别是7680,7692,7702，这次不取平均值，取一个中等偏上的值，定为7701M。那么程序接收1024000个连接，共消耗了 7701M-171M = 7530M内存， 7530M*1024K / 1024000 = 7.53K， 每一个连接消耗内存在为7.5K左右，这和在连接达到512000时所计算较为吻合。
虚拟机运行Centos内存占用，不太稳定，但一般相差不大，以上数值，仅供参考。

执行top -p 某刻输出信息：

     
    top - 17:23:17 up 18 min,  4 users,  load average: 0.33, 0.12, 0.11    
    
     Tasks:   1 total,   1 running,   0 sleeping,   0 stopped,   0 zombie     
     Cpu(s):  0.2%us,  6.3%sy,  0.0%ni, 80.2%id,  0.0%wa,  4.5%hi,  8.8%si,  0.0%st     
     Mem:  10693580k total,  6479980k used,  4213600k free,    22916k buffers     
     Swap:  8323056k total,        0k used,  8323056k free,    80360k cached     
      
       PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                           
      2924 yongboy   20   0 82776  74m  508 R 51.3  0.7   3:53.95 server 

执行vmstate：

  vmstat
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r b swpd free buff cache si so bi bo in cs us sy id wa st
 0 0 0 2725572 23008 80360 0 0 21 2 1012 894 0 9 89 2 0

获取当前socket连接状态统计信息：

  cat /proc/net/sockstat
sockets: used 1024380
TCP: inuse 1024009 orphan 0 tw 0 alloc 1024014 mem 2
UDP: inuse 11 mem 1
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0

获取当前系统打开的文件句柄：

  sysctl -a | grep file
fs.file-nr = 1025216 0 1048576
fs.file-max = 1048576

此时任何类似于下面查询操作都是一个慢，等待若干时间还不见得执行完毕。

  netstat -nat|grep -i "8000"|grep ESTABLISHED|wc -l    
netstat -n | grep -i "8000" | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

以上两个命令在二三十分钟过去了，还未执行完毕，只好停止。

小结

本次从头到尾的测试，所需要有的linux系统需要调整的参数也就是那么几个，汇总一下：

     
     echo "yongboy soft nofile 1048576" >> /etc/security/limits.conf    
     echo "yongboy hard nofile 1048576" >>  /etc/security/limits.conf    
     
     echo "fs.file-max = 1048576" >> /etc/sysctl.conf    
     echo "net.ipv4.ip_local_port_range = 1024 65535" >> /etc/sysctl.conf    
     
     echo "net.ipv4.tcp_mem = 786432 2097152 3145728" >> /etc/sysctl.conf    
     echo "net.ipv4.tcp_rmem = 4096 4096 16777216" >> /etc/sysctl.conf    
     echo "net.ipv4.tcp_wmem = 4096 4096 16777216" >> /etc/sysctl.conf

其它没有调整的参数，仅仅因为它们暂时对本次测试没有带来什么影响，实际环境中需要结合需要调整类似于SO_KEEPALIVE 、tcpmax_orphans等大量参数。

本文代表一次实践，不足之处，欢迎批评指正。



nieyong 2013-04-11 09:01 发表评论

相关 [并发 服务器 笔记] 推荐：

100万并发连接服务器笔记之准备篇

- - BlogJava-首页技术区
测试一个非常简单服务器如何达到100万（1M=1024K连接）的并发连接，并且这些连接一旦连接上服务器，就不会断开，一直连着. 环境受限，没有服务器，刚开始都是在自己的DELL笔记本上测试，凭借16G内存，和优秀的vmware workstation虚拟机配合，另外还得外借别人虚拟机使用，最终还得搭上两台2G内存的台式机（安装centos），最终才完成1M并发连接任务.

100万并发连接服务器笔记之测试端就绪

- - BlogJava-首页技术区
测试端程序需要增加绑定本机IP和本地端口的功能，以尽可能的向外发出更多的tcp请求. 需要对client1.c重构，增加参数传递. 下面是client2.c的代码. 若不指定端口，系统会随机挑选没有使用到的端口，可以节省些心力. -h 要连接的服务器IP地址. -m 本机IP地址需要绑定的随机端口数量.

100万并发连接服务器笔记之1M并发连接目标达成

- - BlogJava-首页技术区
第四个遇到的问题：tcp_mem. 在服务端，连接达到一定数量，诸如50W时，有些隐藏很深的问题，就不断的抛出来. 通过查看 dmesg命令查看，发现大量 TCP: too many of orphaned sockets错误，也很正常，下面到了需要调整tcp socket参数的时候了. 第一个需要调整的是tcp_rmem，即TCP读取缓冲区，单位为字节，查看默认值.

100万并发连接服务器笔记之Erlang完成1M并发连接目标

- - BlogJava-首页技术区
使用Erlang语言也写一个测试和前面大同小异的测试，在100万个并发连接用户情况下，就是想观察一下极显情况下的表现. 这个测试使用了优秀的Erlang界的明星框架. cowboy，加单易用的接口，避免了我们对HTTP栈再次进行闭门造车. 运行在VMWare Workstation 9中，64位Centos 6.4系统，分配14.9G内存左右，双核4个线程，服务器安装Erlang/OTP R16B，最新版本支持异步代码热加载，很赞.

100万并发连接服务器笔记之Java Netty处理1M连接会怎么样

- - BlogJava-首页技术区
每一种该语言在某些极限情况下的表现一般都不太一样，那么我常用的Java语言，在达到100万个并发连接情况下，会怎么样呢，有些好奇，更有些期盼. netty NIO框架（netty-3.6.5.Final），封装的很好，接口很全面，就像它现在的域名 netty.io，专注于网络IO. 整个过程没有什么技术含量，浅显分析过就更显得有些枯燥无聊，准备好，硬着头皮吧.

笔记: Xen VM 里面的 MySQL 服务器优化

- - #raynix's notes
我一直都对公司 Xen VM 的数据库服务器不满, 因为实在是太慢了. 但是几百个 GB 的商业数据我可不敢动, 于是先在测试服务器上证实一下我的想法. 硬盘就是普通的 SATA 7200RPM, VM 用的是 LVM 分区. 然后我用之前写的一个小程序做批量更新, 32K 记录. 缺省配置下, 运行时长达到24分钟, 而优化后则只需要27秒.

java并发编程实践学习笔记

- - zzm
    原子操作：原子为不可再分操作.    Violation ：可见关键字.    Synchronized：内部隐示锁 .    ReentrantLock：显示锁 .    ReentrantReadWriteLock：读写锁 . jmm(java内存模型)：. 线程对所有变量的操作都是在工作内存中进行，线程之间无法相互直接访问，变量传递 均需要通过主存完成.

笔记

- 毛毛 - 游戏人生
我关于写代码的一些琐碎的看法. 之前没有把 Paul Graham 的 <黑客与画家> 一书读完, 上周就从同事那里把书带回家, 也一直没读, 到这周才有时间读完. 很久没有更新了 (一看时间, 整整 5 个月), 顺便把这篇写了几个月的感想放出来.. 这本书前面 8 章讲述的内容, 大多是我并不太感兴趣的, 比如财富, 比如创业.

kernel.org服务器遭入侵

- Lamo - Solidot
kernel.org网站首页发布公告，声称多台服务器在本月初（8月12日前）遭黑客攻击，他们在8月28日发现了入侵. 入侵者利用一位用户凭证获得了服务器根访问权限，他们正在调查黑客是如何提升权限的；系统启动脚本被加入了一个木马启动文件；ssh相关文件被修改. kernel.org声称，他们相信Linux kernel源代码库未受影响，因为git分布式版本控制系统的特性决定了它可以很容易注意到代码变化.

Ubuntu下赌ARM服务器

- Tim - Solidot
今日无数手机平板使用的低能耗处理器能否撑起未来的服务器市场. Canonical计划推出支持ARM架构的Ubuntu服务器版本. Ubuntu Linux并不是x86服务器市场的重量级选手，Red Hat才是. 但通过与ARM合作打造ARM服务器，Canonical正努力赢得更多市场份额. 计划于2011年10月发布的Ubuntu Server 11.10，将同步推出支持x86、x86-64和ARM架构的版本.