[原]【原创】Linux 大规模请求服务器连接数相关设置

标签: | 发表时间:2015-05-13 22:05 | 作者:heiyeshuwu
出处:http://blog.csdn.net/heiyeshuwu


【原创】Linux 大规模请求服务器连接数相关设置

作者:heiyeluren


一般一个大规模Linux服务器请求数可能是几十万上百万的情况,需要足够的连接数来使用,所以务必进行相应的设置。

默认的Linux服务器文件描述符等打开最大是1024,用ulimit -a 查看:

[[email protected]~]$ ulimit -a
core file size          (blocks, -c) 0   #coredump 文件大小
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 255622
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024   #打开文件数量,root账户无限制
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096   #root用户本项是无限
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited


设置要求:假设我们要设置为200W最大打开文件描述符

1. 修改 nr_open 限制 (用途:能够配置nofile最大数)
cat /proc/sys/fs/nr_open 
Linux 内核 2.6.25 以前,在内核里面宏定义是1024*1024,最大只能是100w(1048576),所以不要设置更大的值,如果Linux内核大于 2.6.25 则可以设置更大值。
设置方法:
su   do bash -c 'echo 2000000 > /proc/sys/fs/nr_open'
注意:只有修改了 nr_open 限制,才能修改下面的限制。


2. 打开文件描述符限制:修改 limits.conf 的nofile软硬打开文件限制(用途:tcp连接数)

文件位置:/etc/security/limits.conf 
查找 nofile ,如果没有,则在自己最后加上:
2.6.25 及以前内核设置为100W:
*        soft     nofile  1000000  
*        hard    nofile  1000000

2.6.25 以后版本内核可以设置为200W:
*        soft     nofile  2000000  
*        hard    nofile  2000000

设置后保存本文件。(本操作必须重启才生效,如果无法重启,会无法生效,不确定是否使用 /sbin/sysctl -p 是否可以直接生效)


3. 打开进程限制:修改 limits.conf 中的nproc限制 (用途:进程数)

说明:如果你对进程总数量没有特殊要求,可以不修改本选项,如果你是一个高性能多进程的server,需要很多进程来处理,那么可以修改本选项。
ulimit -a 里可以看到 max user processes 如果值是比较大的,可以不用设置 nproc 项。
配置文件:/etc/security/limits.d/20-nproc.conf  (RHEL 7/CentOS 7)
*          soft    nproc  4096
root     soft    nproc  unlimited

就是root无限(实际root用户限制是:255622),其他非root用户是4096个进程。

说明:

硬限制表明soft限制中所能设定的最大值。 soft限制指的是当前系统生效的设置值。 hard限制值可以被普通用户降低。但是不能增加。 soft限制不能设置的比hard限制更高。 只有root用户才能够增加hard限制值。

当增加文件限制描述,可以简单的把当前值双倍。 例子如下, 如果你要提高默认值1024, 最好提高到2048, 如果还要继续增加, 就需要设置成4096。



4. 修改 file-max 选项 (用途:可分配文件句柄数目)
 
file-max 价值:指定了可以分配的文件句柄的最大数目(可以使用 /proc/sys/fs/file-nr 文件查看到当前已经使用的文件句柄和总句柄数。)

(1) 临时生效:
文件路径:/proc/sys/fs/file-max
cat /proc/sys/fs/file-max
3252210
如果要修改,直接覆盖文件:(比如改成200w)
sudo echo 2000000 > /proc/sys/fs/file-max
注意:如果你想每次启动都自动执行上面的命令,可以在系统启动配置文件/etc/rc.local里面添加一句命令:(跟永久生效差不多)
   
echo 2000000 > /proc/sys/fs/file-max
或者直接Shell全搞定:
echo "echo 2000000 > /proc/sys/fs/file-max" >> /etc/rc.local
(2) 永久生效:
修改配置文件,文件位置:/etc/sysctl.conf   
打开配置文件到最末尾,如果配置文件里没有则可以直接添加:
  
sudo echo "fs.file-max = 2000000" >>/etc/sysctl.conf
配置文件生效:sudo /sbin/sysctl -p


5. 修改TCP等相关选项

配置文件:/etc/sysctl.conf
修改选项:
net.core.somaxconn = 2048  
net.core.rmem_default = 262144  
net.core.wmem_default = 262144  
net.core.rmem_max = 16777216  
net.core.wmem_max = 16777216  
net.ipv4.tcp_rmem = 4096 4096 16777216  
net.ipv4.tcp_wmem = 4096 4096 16777216  
net.ipv4.tcp_mem = 786432 2097152 3145728  
net.ipv4.tcp_max_syn_backlog = 16384  
net.core.netdev_max_backlog = 20000  
net.ipv4.tcp_fin_timeout = 15  
net.ipv4.tcp_max_syn_backlog = 16384  
net.ipv4.tcp_tw_reuse = 1  
net.ipv4.tcp_tw_recycle = 1  
net.ipv4.tcp_max_orphans = 131072 
  配置文件生效:sudo /sbin/sysctl -p

以上选项也可以直接给 /proc/sys/net/ 目录下面按照各个选项可以直接使用 echo VALUE > /proc/sys/net/core/wmem_max 来直接修改内存临时值生效。

主要看这几项:
  •  net.ipv4.tcp_rmem 用来配置读缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。我们可以在程序中修改读缓冲的大小,但是不能超过最小与最大。为了使每个socket所使用的内存数最小,我这里设置默认值为4096。     
  • net.ipv4.tcp_wmem 用来配置写缓冲的大小。读缓冲与写缓冲在大小,直接影响到socket在内核中内存的占用。   
  • net.ipv4.tcp_mem 则是配置tcp的内存大小,其单位是页,而不是字节。当超过第二个值时,TCP进入 pressure模式,此时TCP尝试稳定其内存的使用,当小于第一个值时,就退出pressure模式。当内存占用超过第三个值时,TCP就拒绝分配 socket了,查看dmesg,会打出很多的日志“TCP: too many of orphaned sockets”。 
  • net.ipv4.tcp_max_orphans 这个值也要设置一下,这个值表示系统所能处理不属于任何进程的 socket数量,当我们需要快速建立大量连接时,就需要关注下这个值了。当不属于任何进程的socket的数量大于这个值时,dmesg就会看 到”too many of orphaned sockets”。

注意:如果是客户端程序,为了更好的访问server程序不是卡在端口分配上,建议把客户端的端口(port_range)范围开大一些:
修改文件:/etc/sysctl.conf
net.ipv4.ip_local_port_range = 1024 65535  

配置生效:sudo /sbin/sysctl -p
如果是客户端,其他文件打开限制等可以参考上面的来设置。


6. 其他一些配置

(1) 打开core文件

如果为了观察程序是否正常,出现问题后生成相应映像文件,可以开启coredump相关的操作,可以打开:(非必须,如果线上环境,担心影响稳定性,可以考虑不开启)
配置文件:/etc/security/limits.conf
修改配置文件:
增加: 
*        soft     core   102400
*        hard    core   2048003

建议设置为无限大小:
*        soft     core   unlimited
*        hard    core   unlimited
然后重启机器生效(不确定是否可以使用 /sbin/sysctl -p 生效),使用: ulimit -a 或 ulimit -c 查看结果,后续如果程序出现栈溢出等都会生成coredump文件,方便用gdb等追查问题原因。



参考URL:



-------------------------------------------------------------------------------------

黑夜路人,一个关注开源技术、乐于学习、喜欢分享的程序员


博客:http://blog.csdn.net/heiyeshuwu

微博:http://weibo.com/heiyeluren

微信:heiyeluren2012  

想获取更多IT开源技术相关信息,欢迎关注微信!

微信二维码扫描快速关注本号码:




作者:heiyeshuwu 发表于2015/5/13 14:05:27 原文链接
阅读:3 评论:0 查看评论

相关 [原创 linux 服务器] 推荐:

[原]【原创】Linux 大规模请求服务器连接数相关设置

- - heiyeluren的blog(黑夜路人的开源世界)
【原创】Linux 大规模请求服务器连接数相关设置. 一般一个大规模Linux服务器请求数可能是几十万上百万的情况,需要足够的连接数来使用,所以务必进行相应的设置. 默认的Linux服务器文件描述符等打开最大是1024,用ulimit -a 查看:. core file size          (blocks, -c) 0   #coredump 文件大小.

centos linux 服务器安全

- - 操作系统 - ITeye博客
我们必须明白:最小的权限+最少的服务=最大的安全. 所以,无论是配置任何服务器,我们都必须把不用的服务关闭、把系统权限设置到最小话,这样才能保证服务器最大的安全. 下面是CentOS服务器安全设置,供大家参考. 一、注释掉系统不需要的用户和用户组. 注意:不建议直接删除,当你需要某个用户时,自己重新添加会很麻烦.

Linux服务器性能评估

- peigen - 唐福林-博客雨
一、影响Linux服务器性能的因素. 影响性能因素 评判标准 好 坏 糟糕 CPU user% + sys%< 70% user% + sys%= 85% user% + sys% >=90% 内存 Swap In(si)=0 Swap Out(so)=0. Per CPU with 10 page/s More Swap In & Swap Out 磁盘 iowait % < 20% iowait % =35% iowait % >= 50%.

[转]Linux下安装Oracle11g服务器

- - 小鸥的博客
                     Linux服务器:SuSe10 sp2 64位.                      Oracle服务器:Oracle11gR2 64位. Linux安装Oracle系统要求. 一般为内存的2倍,例如:1G的内存可以设置swap 分区为3G大小.  2.修改操作系统核心参数.

Linux服务器性能评估

- - 操作系统 - ITeye博客
一、影响Linux服务器性能的因素. 二、系统性能评估标准. %user:表示CPU处在用户模式下的时间百分比. %sys:表示CPU处在系统模式下的时间百分比. %iowait:表示CPU等待输入输出完成时间的百分比. swap in:即si,表示虚拟内存的页导入,即从SWAP DISK交换到RAM.

为生产服务器选择合适的Linux发行版

- Derek - 花开的地方
抛出这个问题,是因为之前与同事的争论以及最近与同事的争论——我可保持沉默,但不可以停止思考. 我想大多数有经验的Linux用户,会觉得这个问题不是问题,那么请不要急,待会儿我会让你知道这个问题为什么是个问题. 首先,在讨论这个问题之前, 我们一定要先了解自己的自身的条件:即我们自身的技术能力——假如我们有能力像RedHat、Google一样,自己跟踪Linux以及开源社区,那么,我们完成可以搞个自己用的发行出来.

Unix/Linux时区服务器因版权诉讼关闭

- Lamo - Solidot
Unix/Linux时区服务器的维护者Arthur David Olson通过邮件列表宣布,由于时区服务器卷入了侵犯版权的诉讼案,ftp://elsie.nci.nih.gov服务器和邮件列表将相继关闭. 原来是一家名叫Astrolabe的公司购买了《The American Atlas》的版权. 该书是一本天文测量历史参考书,收集了美国从1850年到2000年的地理位置、时区和完整时钟设置历史.

Linux服务器的16个监控命令

- - inJava
想不想知道你的服务器到底在干什么?那么你要知道本文介绍的这些基本命令. 一旦你熟悉掌握了这些命令,就为成为专业的 Linux系统管理员打下了基础. 你可以通过图形化用户界面(GUI)程序来获取这些外壳命令提供的大量信息,具体取决于使用哪一种Linux发行版. 比如说,SUSE Linux就有一款出色的、图形化配置和管理工具YaST,KDE的KDE System Guard同样很出色.

你需要知道的 16 个 Linux 服务器监控命令

- - 水煮沉浮
如果你想知道你的服务器正在做干什么,你就需要了解一些基本的命令,一旦你精通了这些命令,那你就是一个 专业的 Linux 系统管理员. 有些 Linux 发行版会提供 GUI 程序来进行系统的监控,例如 SUSE Linux 就有一个非常棒而且专业的工具 YaST,KDE 的 KDE System Guard 同样很出色.