Nginx 限流

标签： nginx 工具 | 发表时间：2015-10-26 16:37 | 作者：
出处：http://colobu.com/

电商平台营销时候，经常会碰到的大流量问题，除了做流量分流处理，可能还要做用户黑白名单、信誉分析，进而根据用户ip信誉权重做相应的流量拦截、限制流量。
Nginx自身有的请求限制模块 ngx_http_limit_req_module、流量限制模块 ngx_stream_limit_conn_module基于令牌桶算法，可以方便的控制令牌速率，自定义调节限流，实现基本的限流控制。

对于提供下载的网站，肯定是要进行流量控制的，例如软件下载站、视频服务等。
它也可以减少一些爬虫程序或者DDOS的攻击。

对这两个模块的介绍的文章也不少，这里转载一篇 hopestar的文章: nginx限制IP连接数的范例参考， 因为他介绍的很简洁。

如何Nginx限制同一个ip的连接数，限制并发数目:

(1) 添加limit_zone和limit_req_zone 这个变量只能在http使用 :

     
1
     
2
     
3
 
     
vi /export/servers/nginx/conf/nginx.conf 
     
limit_zone one  $binary_remote_addr  20m;
     
limit_req_zone  $binary_remote_addr  zone=req_one:20m rate=12r/s;

(2) 添加limit_conn 和limit_req 这个变量可以在http, server, location使用 我是限制nginx上的所有服务，所以添加到http里面 （如果你需要限制部分服务，可在nginx/conf/domains里面选择相应的server或者location添加上便可）

     
1
     
2
     
3
     
4
     
5
     
6
 
     
vi /export/servers/nginx/conf/nginx.conf 
     
     
limit_zone one $binary_remote_addr 20m;
     
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;
     
limit_conn one 10;
     
limit_req zone=req_one burst=120;

参数详解(数值按具体需要和服务器承载能力设置,):

     
1
     
2
     
3
     
4
 
     
limit_zone，是针对每个变量(这里指IP，即$binary_remote_addr)定义一个存储session状态的容器。这个示例中定义了一个20m的容器，按照32bytes/session，可以处理640000个session。
     
limit_req_zone 与limit_zone类似。rate是请求频率. 每秒允许12个请求。
     
limit_conn  one 10 : 表示一个IP能发起10个并发连接数
     
limit_req: 与limit_req_zone对应。burst表示缓存住的请求数。

范例:

     
1
     
2
     
3
     
4
     
5
     
6
     
7
     
8
     
9
     
10
     
11
     
12
     
13
     
14
     
15
     
16
     
17
     
18
     
19
     
20
 
     
http
     
{
     
limit_zone one  $binary_remote_addr  20m;
     
limit_req_zone  $binary_remote_addr  zone=req_one:20m rate=12r/s;
     
     
limit_conn   one  10;
     
limit_req   zone=req_one burst=120;
     
     
     
server  {
     
        listen          80;
     
        server_name     status.xxx.com ;
     
     
        location / {
     
                 stub_status            on;
     
                 access_log             off;
     
        }
     
     
}
     
}

(3) 重启nginx

     
1
 
     
/export/servers/nginx/sbin/nginx -s reload

Nginx限制流量/限制带宽 具体参考官方文档

nginx白名单设置

以上配置会对所有的ip都进行限制，有些时候我们不希望对搜索引擎的蜘蛛或者某些自己的代理机过来的请求进行限制， 对于特定的白名单ip我们可以借助geo指令实现。

先在nginx的请求日志进行统计，查看那个ip的访问量比较大， 运行:

     
1
     
2
 
     
cat access.log | grep "03/Jun" |awk '{print $1}'|sort |uniq -c|sort -nrk 1|head -n 10
     
#列出访问日志里面在6月3号这天前10个访问量最大的ip.

接下来就可以对这些IP进行分析了。看哪些需要进行白名单设置。

     
1
     
2
     
3
     
4
     
5
     
6
     
7
     
8
     
9
     
10
     
11
     
12
     
13
     
14
     
15
     
16
     
17
     
18
 
     
 http{
     
     geo  $limited  { # the variable created is $limited
     
      default          1;
     
      127.0.0.1/32     0;
     
      10.12.212.63     0;
     
    }
     
     
    map $limited $limit {
     
    1 $binary_remote_addr;
     
    0 "";
     
    }
     
     
    limit_zone one  $binary_remote_addr  20m;
     
    limit_req_zone  $limit  zone=req_one:20m rate=20r/s;
     
     
    limit_conn   one  10;
     
    limit_req   zone=req_one burst=120;
     
}

上面两个需要用到map和geo模块，这是nginx自带的模块，有的运维喜欢把他们关闭，自己 ./sbin/nginx -V 留意一下。把配置的 --whithout-XXX-module 去掉重新编译一下就可以了。 上面这段配置的意思是：

1.geo指令定义了一个白名单$limited变量，默认值为1，如果客户端ip在上面的范围内，$limited的值为0
2.使用map指令映射搜索引擎客户端的ip为空串，如果不是搜索引擎就显示本身真实的ip，这样搜索引擎ip就不能存到limit_req_zone内存session中，所以不会限制搜索引擎的ip访问

PS:获取客户端的真实IP

顺带一提，为了获取客户端的真实IP。该模块需要安装read_ip模块，运维应该默认有安装。没有的话也可自行安装： 配置方式相当简单，重新编译 Nginx 加上 --with-http_realip_module 参数，如：

     
1
     
2
     
3
 
     
./configure --prefix=/opt/nginx --with-http_stub_status_module  --with-pcre=../pcre-6.6 --with-http_realip_module
     
make
     
make install

在server中增加:

     
1
     
2
     
3
 
     
set_real_ip_from   192.168.1.0/24;
     
set_real_ip_from   192.168.2.1;
     
real_ip_header     [X-Real-IP|X-Forwarded-For];

需要说明的地方就是设置IP源的时候可以设置单个IP，也可以设置IP段，另外是使用X-Real-IP还是X-Forwarded-For，取决于前面的服务器有哪个头。

set_real_ip_from 设置的IP端可以让运维查看日志，看下你的请求是来自哪些ip段。

重新加载一下服务，差不多就OK了。

再查看日志的话，应该可以看到客户端的真实IP了。

注意：如果未安装该模块的话你的获取到的IP端可能是来自前端代理（如squid）的IP，结果就是多个用户被当成单个用户对待，导致应用不能响应。 参考: http://hi.baidu.com/thinkinginlamp/item/e2cf05263eb4d18e6e2cc3e6

再PS一下： 自测: 有条件的自己可以用ab或者webben自测一下。

未安装前压测的话，因为有大量请求，所以access.log会有大量日志，而error.log日志没有变化。

     
1
     
2
     
3
     
4
     
5
     
6
     
7
 
     
[root@qrwefsdf talk]# webbench  -c 30 -t 30 http://xxx.com  
     
Webbench - Simple Web Benchmark 1.5
     
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
     
Benchmarking: GET http://xxx.com  
     
30 clients, running 30 sec.
     
Speed=193468 pages/min, 1254317 bytes/sec.
     
Requests: 96734 susceed, 0 failed.

安装后会发现很多超出的请求会返回503,所以access.log日志变化不快，error.log有大量记录,提示limit_reque缓住了多少请求。

     
1
     
2
     
3
     
4
     
5
     
6
     
7
 
     
[root@qrwefsdf talk]# webbench  -c 30 -t 30 http://xxxx.com
     
Webbench - Simple Web Benchmark 1.5
     
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
     
Benchmarking: GET http://xxx.com  
     
30 clients, running 30 sec.
     
Speed=120 pages/min, 778 bytes/sec.
     
Requests: 60 susceed, 0 failed.

相关 [nginx] 推荐：

nginx配置ssl

- - 邢红瑞的blog
先生成网关证书 ，仿照CA模式.

Nginx安装

- - 企业架构 - ITeye博客
nginx可以使用各平台的默认包来安装，本文是介绍使用源码编译安装，包括具体的编译参数信息. 正式开始前，编译环境gcc g++ 开发库之类的需要提前装好，这里默认你已经装好. ububtu平台编译环境可以使用以下指令. centos平台编译环境使用如下指令. 一般我们都需要先装pcre, zlib，前者为了重写rewrite，后者为了gzip压缩.

Nginx GZip 压缩

- - 开心平淡对待每一天。热爱生活
  Nginx GZip 模块文档详见： http://wiki.nginx.org/HttpGzipModule 常用配置片段如下：. # 压缩比例，比例越大，压缩时间越长. 默认是1 gzip_types. text/css text/javascript; # 哪些文件可以被压缩 gzip_disable.

Nginx 限流

- - 鸟窝
电商平台营销时候，经常会碰到的大流量问题，除了做流量分流处理，可能还要做用户黑白名单、信誉分析，进而根据用户ip信誉权重做相应的流量拦截、限制流量. Nginx自身有的请求限制模块 ngx_http_limit_req_module、流量限制模块 ngx_stream_limit_conn_module基于令牌桶算法，可以方便的控制令牌速率，自定义调节限流，实现基本的限流控制.

NGINX的流媒体插件 nginx-rtmp-module

- - 开源软件 - ITeye博客
战斗民族俄罗斯人民开发的一款NGINX的流媒体插件，除了直播发布音视频流之外具备流媒体服务器的常见功能. 基于HTTP的FLV/MP4 VOD点播. HLS (HTTP Live Streaming) M3U8的支持. 基于http的操作（发布、播放、录制）. 可以很好的协同现有的流媒体服务器以及播放器一起工作.

Nginx content cache Nginx内容缓存

- - CSDN博客推荐文章
原文地址： http://nginx.com/resources/admin-guide/caching/. When caching is enabled NGINX saves responses in the cache on the disk and uses them to respond to clients without proxying the requests..

nginx + memcached session 同步

- - 企业架构 - ITeye博客
squid 缓存疑问 问题归纳：. 1 squid 缓存的数据，何时过期，如何判断缓存的数据已经过期，如何把最新的数据缓入squid 并且替换掉旧的内容. 2 如何判断数据是否应该被缓存. 3 校验失败时，是否给出缓存中旧的内容. 上面的几个问题  都可以通过 squid中的 refresh_pattern 配置项 找到答案.

nginx日志切割

- - haohtml's blog
nginx的日志文件没有rotate功能. 如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件. 第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志. 在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件.

nginx框架总结

- - CSDN博客互联网推荐文章
a、内存池的设计，为一个多级链表结构，本身不负责内存的回收，减少内存碎片，提高内存的利用率，将多次向操作系统申请内存压缩为一次，减少向操作系统申请内存的次数，提高cpu资源的利用；. b、基于事件的master-worker异步处理. 处理事件的机制是由事件分发进程加载事件处理模块来完成与传统将事件提交给handle-thread来处理的方式相比，减少了进程（线程）间的切换，从而降低了请求响应延迟的时间；.

nginx + keepalive 实现HA

- - CSDN博客编程语言推荐文章
主nginx负载均衡器 192.168.166.203. 辅nginx负载均衡器 192.168.166.177. VIP地址 192.168.166.178. 二．修改配置文件为以下内容:　[master slave].  state MASTER #(主机为MASTER，备用机为BACKUP).