Openresty+Lua+Redis灰度发布 - K‘e0llm - 博客园

标签: | 发表时间:2021-06-09 18:27 | 作者:
出处:https://www.cnblogs.com

灰度发布,简单来说,就是根据各种条件,让一部分用户使用旧版本,另一部分用户使用新版本。百度百科中解释:灰度发布是指在黑与白之间,能够平滑过渡的一种发布方式。AB test就是一种灰度发布方式,让一部分用户继续用A,一部分用户开始用B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面 来。灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度。上述描述的灰度方案A和B需要等量的服务器,这里我们所做的灰度发布稍作改变:用1-2台机器作为B,B测试成功再部署A。用于WEB系统新代码的测试发布,让一部分(IP)用户访问新版本,一部分用户仍然访问正常版本,原理如图:

执行过程:
1、当用户请求到达前端web(代理)服务器Openresty,内嵌的lua模块解析Nginx配置文件中的lua脚本代码;
2、Lua获取客户端IP地址,去查询Redis中是否有该键值,如果有返回值执行@clien2,否则执行@client1。
3、Location @client2把请求转发给预发布服务器,location @client1把请求转发给生产服务器,服务器返回结果,整个过程完成。

Openresty部分配置如下:

upstream client1 { 
        server127.0.0.1:8080;  #模拟生产服务器
    }
upstream client2 {
        server127.0.0.1:8090;  #模拟预发布服务器
    }

server {
        listen80;
        server_name  localhost;
        
        location^~ /test {
            content_by_lua_file/app/ngx_openresty/nginx/conf/huidu.lua
        }
        
        location @client1{
                proxy_pass http://client1;}
        location @client2{
                proxy_pass http://client2;}
     }

Lua脚本内容如下:

local redis = require"resty.redis"local cache=redis.new() 
cache:set_timeout(60000)

local ok, err= cache.connect(cache,'127.0.0.1',6379)ifnot okthenngx.say("failed to connect:", err) 
    return 
end 

local red, err= cache:auth("foobared")ifnot redthenngx.say("failed to authenticate:", err)
    return
end

local local_ip= ngx.req.get_headers()["X-Real-IP"]iflocal_ip == nilthenlocal_ip= ngx.req.get_headers()["x_forwarded_for"]
endiflocal_ip == nilthenlocal_ip=ngx.var.remote_addr
end--ngx.say("local_ip is :", local_ip)

local intercept=cache:get(local_ip)ifintercept == local_ipthenngx.exec("@client2")
    return
end

ngx.exec("@client1")

local ok, err=cache:close()ifnot okthenngx.say("failed to close:", err) 
    return 
end

验证:
url:http://192.168.116.145/test/n.jpg (模拟生产环境)
客户端IP:192.168.116.1(模拟公司办公网IP)

1、访问http://192.168.116.145/test/n.jpg
返回的结果是生产服务器的。

在Redis存入客户端IP:

继续访问:
请求到的是预发布服务器返回的结果。

在Redis中删除客户端IP:

然后刷新浏览器:
返回生产服务器的结果。

通过lua实现灰度发布

nginx.conf

   
[[email protected] conf]# cat nginx.conf user root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream up1{ server 127.0.0.1:8081; } upstream up2{ server 127.0.0.1:8082; } upstream all{ ip_hash; serever 127.0.0.1:8081; serever 127.0.0.1:8082; } server { listen 80; server_name localhost; # 请求交给lua脚本处理 location / { lua_code_cache off; content_by_lua_file /usr/local/nginx/lua/proxy.lua; } # location @ 用于nginx内部跳转 location @up1 { proxy_pass http://up1; } location @up2 { proxy_pass http://up2; } location @all { proxy_pass http://all; } } }

proxy.lua

   
ngx.header.content_type="text/html;charset=utf8" redis = require('resty.redis') redis = redis.new() redis:set_timeout(1000) ok,err = redis:connect('127.0.0.1', 6379) if not ok then ngx.say('connect to redis failed ! reason: ' .. err) end -- 从redis中检查是否存在即将更新的upstream主机 check_up1 = redis:get('update1') --(up1) check_up2 = redis:get('update2') --(up2) redis:close() -- 注意返回的数据类型来判断 if check_up1 == "1" then ngx.exec("@up2") elseif check_up2 == "1" then ngx.exec("@up1") else ngx.exec("@all") end -- 原理就是利用redis中设置指定key,比如要更新主机1,则redis中添加key=update1,value=1,当浏览器请求进入nginx的content阶段后执行lua脚本, -- 脚本中检查redis中是否存在要更新的主机,如果发现某个主机要更新则通过Nginx API for Lua中的ngx.exec接口内部跳转到另一台主机。 -- 如果两个都不更新,则根据nginx自己的方式(默认轮询)分发请求。 -- nginx里使用了ip_hash保持会话,主要是为了用户的请求在后端记录的日志中保持完整。

相关 [openresty lua redis] 推荐:

Openresty+Lua+Redis灰度发布 - K‘e0llm - 博客园

- -
灰度发布,简单来说,就是根据各种条件,让一部分用户使用旧版本,另一部分用户使用新版本. 百度百科中解释:灰度发布是指在黑与白之间,能够平滑过渡的一种发布方式. AB test就是一种灰度发布方式,让一部分用户继续用A,一部分用户开始用B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面 来.

Nginx 通过 Lua + Redis 实现动态封禁 IP

- - 编程学习网
为了封禁某些爬虫或者恶意用户对服务器的请求,我们需要建立一个动态的 IP 黑名单. 对于黑名单之内的 IP ,拒绝提供服务. 实现 IP 黑名单的功能有很多途径:. 1、在操作系统层面,配置 iptables,拒绝指定 IP 的网络请求;. 2、在 Web Server 层面,通过 Nginx 自身的 deny 选项 或者 lua 插件 配置 IP 黑名单;.

[转]推荐OpenResty - Nginx全能插件版

- - 天空极速
官网: http://openresty.org/. 虽然是中国人做的,但没几个汉字……. 我用Nginx,是这样一个过程:. 1、系统rpm中的nginx,能让其跑起来. OpenResty,是淘宝一位大牛(agentzh)集成的包含N多好插件的Nginx捆绑源码包,这位仁兄自称Nginx最活跃的第三方模块开发人员哦.

在 OpenResty 里实现进程间通讯

- - SegmentFault 最新的文章
在 Nginx 里面,每个 worker 进程都是平等的. 但是有些时候,我们需要给它们分配不同的角色,这时候就需要实现进程间通讯的功能. 一种简单粗暴但却被普遍使用的方案,就是每个进程划分属于自己的 list 类型的 shdict key,每隔一段时间查看是否有新消息. 这种方式优点在于实现简单,缺点在于难以保证实时性.

5本Lua免费电子书

- sospartan - 读写网 ReadWriteWeb
在最新的编程语言排名中,Lua超过了JavaScript进入了前十名──许多人使用Lua进行“魔兽世界”的脚本编写. 所以,在本周的免费资源推荐中我们找到了一些免费的学习Lua的电子书,无论你想使.

Lua 下实现抢占式多线程

- Coder(码农) - 云风的 BLOG
Lua 5.2 的开发进度可以回溯到 2010 年 1 月. 漫长的流程到今天已经快两年过去,终于等到了 beta 版. 我十分期待它可以在 2011 年内正式发布. 在这几经折腾的两年里,许多新特性企图挤进 5.2 版,又最终被否决. 当我们审视改进列表,似乎看不到太多耳目一新的东西. 但如果仔细阅读一下源代码,就会发现,大部分地方都重新实现过了,以配合这些表面上看起来不大的修改.

编写高性能的Lua代码

- - 九点 科技
Lua是一门以其性能著称的脚本语言,被广泛应用在很多方面,尤其是游戏. 像《魔兽世界》的插件,手机游戏《大掌门》《神曲》《迷失之地》等用Lua来写游戏逻辑. 所以大部分时候我们不需要去考虑性能问题. Knuth有句名言:“过早优化是万恶之源”. 其意思就是过早优化是不必要的,会浪费大量时间,而且容易导致代码混乱.

nginx+lua+memcache实现灰度发布

- - 开源软件 - ITeye博客
灰度发布在百度百科中解释:. 灰度发布是指在黑与白之间,能够平滑过渡的一种发布方式. AB test就是一种灰度发布方式,让一部分用户继续用A,一部分用户开始用B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面 来. 灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度.

Openresty流量复制/AB测试/协程_jinnianshilongnian的专栏-CSDN博客

- -
在实际开发中经常涉及到项目的升级,而该升级不能简单的上线就完事了,需要验证该升级是否兼容老的上线,因此可能需要并行运行两个项目一段时间进行数据比对和校验,待没问题后再进行上线. 这其实就需要进行流量复制,把流量复制到其他服务器上,一种方式是使用如. tcpcopy引流;另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发执行来模拟复制.

采访 Lua 发明人的一篇文章

- KK - 云风的 BLOG
《Masterminds of Programming: Conversations with the Creators of Major Programming Languages》是本相当不错的书. 博文翻译出版了这本书,中文名叫做《编程之魂》. 书是好书,可惜翻译这本书需要对各种语言的深入研究,看起来译者有点力不从心.