防范爬虫流量攻击：Nginx限制同时段IP访问数量和频率

　　最近网站遭受爬虫攻击，经常出现CPU和带宽100%跑满，服务器陷入假死的状态，虽然持续时间不长，每次5分钟左右，或者重启nginx可恢复，但是架不住太过频繁，一天要搞十多次，也是恼火。排查日志发现，有大量的同网段IP频繁请求网络资源，尝试了封禁IP，效果并不大，对方会更换新的IP，求助网警，答复是攻击者IP为虚拟IP，无法定位。

　　实在没办法，网络防火墙价格又太贵，只能通过nginx的基础功能，看能不能解决。网上查了一下，找到了如下解决方案。
　　主要用到了nginx的ngx_http_limit_conn_module和ngx_http_limit_req_module两个配置：
　　ngx_http_limit_conn_module：限制并发连接数；
　　ngx_http_limit_req_module：限制一段时间内同一IP的访问频率；
　　首先，我们为了防止别人来攻击，或者访问量异常过高导致服务器崩掉，就需限制访问量，如果是一瞬间的并发访问，那么我们就需要限制一秒之内的并发连接数，此时就需要用到第一个配置，可以写在nginx.conf文件里：
　　http {
　　  limit_conn_zone $binary_remote_addr zone=addr:10m;
　　  #定义一个名为addr的limit_req_zone用来存储session，大小是10M内存
　　  #以$binary_remote_addr 为key
　　  #且只能放在http{}代码段.
　　  server {
　　     location / {
　　      limit_conn addr 2; 　　#连接数限制
　　      #设置给定键值的共享内存区域和允许的最大连接数。超出此限制时，服务器将返回503（服务临时不可用）错误.
　　      #如果区域存储空间不足，服务器将返回503（服务临时不可用）错误
　　      }
　　   }
　　}
　　上面的配置能达到的效果就是，一瞬间访问的时候，只会有100个IP能得到响应，后面的IP直接就返回503状态。

　　其次，如果一个IP能访问到服务器，那么它如果疯狂的调用接口，最后可能导致将服务器的带宽耗尽，从而导致服务器假死崩溃，此时就需要用到第二个配置：
　　http{
　　  #定义一个名为allips的limit_req_zone用来存储session，大小是10M内存，
　　  #以$binary_remote_addr为key，限制平均每秒的请求为100个，
　　  #1M能存储16000个状态，rate的值必须为整数，
　　  #如果限制1分钟100个请求，可以设置成100r/m
　　  limit_req_zone $binary_remote_addr zone=allips:10m rate=5000r/m;
　　  server{
　　     location / {
　　     #限制每ip每秒不超过20个请求，漏桶数burst为5
　　     #brust的意思就是，如果第1秒、2，3，4秒请求为19个，
　　     #第5秒的请求为25个是被允许的。
　　     #但是如果你第1秒就25个请求，第2秒超过20的请求返回503错误。
　　     #nodelay，如果不设置该选项，严格使用平均速率限制请求数，
　　     #第1秒25个请求时，5个请求放到第2秒执行，
　　     #设置nodelay，25个请求将在第1秒执行。
　　     limit_req zone=allips burst=100 nodelay;
　　     }
　　   }
　　}
　　此时能达到的效果，同一个用户机在1分钟内可以访问5000个资源，如果1秒内超过了2个并发连接，后面的也是直接返回503。
　　注意：如果网站规模不大，设置 limit_conn addr 2足够，即允许同一客户机2个并发连接请求。如果页面资源较多，比如首页network里面有200个资源，可以设置brust为100，这样2秒就可以全部请求通过。

附上比较理想的配置方案：
1、在nginx.conf文件里：
http {
    #限制单IP并发量开始
    limit_conn_zone $binary_remote_addr zone=addr:10m;
    limit_req_zone $binary_remote_addr zone=allips:10m rate=5000r/m;
    #limit_req_zone：请求频率
    #$binary_remote_addr：以客户端IP进行限制
    #zone=one:10m：创建IP存储区大小为10M,用来存储访问频率
    #rate=10r/s：表示客户端的访问频率为每秒10次         
    #限制单IP并发量结束        
}
2、在具体网站的.conf文件里：
server {
    #限制单IP并发量开始
    limit_conn  addr  2;  
    limit_req zone=allips burst=100 nodelay;
    #burst：如果请求的频率超过了限制域配置的值，请求处理会被延迟
    #nodelay：超过频率限制的请求会被延迟，直到被延迟的请求数超过了定义的阈值，这个请求会被终止，并返回503        
    #限制单IP并发量结束
}