Nginx缓存解决方案:SRCache

标签: Technical Nginx | 发表时间:2014-06-20 15:10 | 作者:老王
出处:http://huoding.com

前些天帮别人优化PHP程序,搞得灰头土脸,最后黔驴技穷开启了 FastCGI Cache,算是勉强应付过去了吧。不过FastCGI Cache不支持分布式缓存,当服务器很多的时候,冗余的浪费将非常严重,此外还有数据一致性问题,所以它只是一个粗线条的解决方案。

对此类问题而言, SRCache是一个细粒度的解决方案。其工作原理大致如下:

SRCache工作原理

SRCache工作原理

当问题比较简单的时候,通常SRCache和 Memc模块一起搭配使用。网上能搜索到一些相关的 例子,大家可以参考,这里就不赘述了。当问题比较复杂的时候,比如说缓存键的动态计算等,就不得不写一点代码了,此时 Lua模块是最佳选择。

闲言碎语不多讲,表一表Nginx配置文件长啥样:

lua_package_path '/path/to/vendor/?.lua;;';

init_by_lua_file /path/to/config.lua;

server {
    listen 80;
    server_name foo.com;

    root /path;
    index index.html index.htm index.php;

    location / {
        try_files $uri $uri/ /index.php$is_args$args;
    }

    location ~ \.php$ {
        set $key "";
        set $ttl 600;
        set $skip 1;

        rewrite_by_lua_file /path/to/guard.lua;

        srcache_fetch_skip $skip;
        srcache_store_skip $skip;
        srcache_fetch GET /memcached key=$key;
        srcache_store PUT /memcached key=$key&ttl=$ttl;

        add_header X-Srcache-Fetch $srcache_fetch_status;
        add_header X-Srcache-Store $srcache_store_status;

        try_files $uri =404;

        include fastcgi.conf;
        fastcgi_pass 127.0.0.1:9000;
    }

    location /memcached {
        internal;
        content_by_lua_file /path/to/data/memcached.lua;
    }
}

Nginx启动后,会载入config.lua中的配置信息。请求到达后,缺省情况下,SRCache为关闭状态,在guard.lua中,会对当前请求进行正则匹配,一旦匹配成功,那么就会计算出缓存键,并且把SRCache设置为开启状态,最后由memcached.lua完成读写。

看看「config.lua」文件的内容,它主要用来记录一些全局的配置信息:

config = {}

config["memcached"] = {
    {host = "127.0.0.1", port = "11211"},
    {host = "127.0.0.1", port = "11212"},
    {host = "127.0.0.1", port = "11213"},
}

config["ruleset"] = {
    {pattern = "/test", fields = {x = "number", y = "string"}},
}

看看「guard.lua」文件的内容,它主要用来计算缓存键,并开启SRCache模块:

local uri = string.match(ngx.var.request_uri, "[^?]+")

for _, rule in ipairs(config["ruleset"]) do
    local pattern = rule["pattern"]
    local option  = rule["option"]

    if ngx.re.match(uri, pattern, option or "") then
        local ttl = rule["ttl"]

        if ttl then
            ngx.var.ttl = ttl
        end

        local args = ngx.req.get_uri_args()

        local fields = rule["fields"]

        if fields then
            for name in pairs(args) do
                if fields[name] then
                    if fields[name] == "number" then
                        if not tonumber(args[name]) then
                            ngx.exit(OK)
                        end
                    end
                else
                    args[name] = nil
                end
            end
        end

        local key = {
            ngx.var.request_method, " ",
            ngx.var.scheme, "://",
            ngx.var.host, uri,
        }

        args = ngx.encode_args(args);

        if args ~= "" then
            key[#key + 1] = "?"
            key[#key + 1] = args
        end

        key = table.concat(key)
        key = ngx.md5(key)

        ngx.var.key = key

        ngx.var.skip = "0"

        break
    end
end

看看「memcached.lua」文件的内容,它主要通过 Resty库来读写Memcached:

local memcached = require "resty.memcached"

local key = ngx.var.arg_key

local index = ngx.crc32_long(key) % #config["memcached"] + 1

local host = config["memcached"][index]["host"]
local port = config["memcached"][index]["port"]

local memc, err = memcached:new()

if not memc then
    ngx.log(ngx.ERR, err)
    ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
end

memc:set_timeout(100)

local ok, err = memc:connect(host, port)

if not ok then
    ngx.log(ngx.ERR, err)
    ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
end

local method = ngx.req.get_method()

if method == "GET" then
    local res, flags, err = memc:get(key)

    if err then
        ngx.log(ngx.ERR, err)
        ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
    end

    ngx.print(res)
elseif method == "PUT" then
    local value = ngx.req.get_body_data()
    local ttl = ngx.var.arg_ttl

    local ok, err = memc:set(key, value, ttl)

    if not ok then
        ngx.log(ngx.ERR, err)
        ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
    end
else
    ngx.exit(ngx.HTTP_NOT_ALLOWED)
end

memc:set_keepalive(1000, 10)

最后一个问题:如何判断缓存是否生效了?试试下面的命令:

shell> curl -v http://foo.com/test?x=123&y=abc
< X-Srcache-Fetch: HIT
< X-Srcache-Store: BYPASS

关于激活SRCache前后的性能对比,视环境的不同而不同,大家自行实验吧,不过绝对是数量级的提升,更重要的是这一切对业务层完全透明,别愣着了,快试试吧!

相关 [nginx 缓存 srcache] 推荐:

Nginx缓存解决方案:SRCache

- - 火丁笔记
前些天帮别人优化PHP程序,搞得灰头土脸,最后黔驴技穷开启了 FastCGI Cache,算是勉强应付过去了吧. 不过FastCGI Cache不支持分布式缓存,当服务器很多的时候,冗余的浪费将非常严重,此外还有数据一致性问题,所以它只是一个粗线条的解决方案. 对此类问题而言, SRCache是一个细粒度的解决方案.

使用memc-nginx和srcache-nginx模块构建高效透明的缓存机制

- ndv - 博客园-EricZhang&#39;s Technology Blog
为了提高性能,几乎所有互联网应用都有缓存机制,其中Memcache是使用非常广泛的一个分布式缓存系统. 传统上,PHP中使用memcache的方法是使用php-memcache或php-memached扩展操作memcache,然而在Nginx上有构建更高效缓存机制的方法,本文将首先介绍这种机制,然后介绍具体的操作步骤方法,最后将对这种机制和传统的PHP操作memcache的性能进行一个benchmark.

Nginx content cache Nginx内容缓存

- - CSDN博客推荐文章
原文地址: http://nginx.com/resources/admin-guide/caching/. When caching is enabled NGINX saves responses in the cache on the disk and uses them to respond to clients without proxying the requests..

nginx缓存设置 [转]

- - 企业架构 - ITeye博客
转:http://linux008.blog.51cto.com/2837805/547236. 目的:缓存nginx服务器的静态文件. 如css,js,htm,html,jpg,gif,png,flv,swf,这些文件都不是经常更新. 实现:nginx proxy_cache可以将用户的请缓存到本地一个目录,当下一个请求时可以直接调取缓存文件,就不用去后端服务器去取文件了.

Nginx之页面缓存

- - CSDN博客推荐文章
语法:proxy_cache_path path [levels=number] keys_zone=zone_name:zone_size [inactive=time] [max_size=size];  . 默认值:None  . 使用字段:http  . 指令指定缓存的路径和一些其他参数,缓存的数据存储在文件中,并且使用代理url的哈希值作为关键字与文件名.

nginx缓存过期管理小结

- - CSDN博客推荐文章
先看一个经典的配置,注意红色部分:. 我在Chinaunix论坛上看到有人问过,说这三个时间(上面红字显示的),到底是什么意思,他们有什么用处. (被缓存的数据如果在inactive参数指定的时间内未被访问,就会被从缓存中移除,不论它是否是刚产生的. inactive的默认值是10分钟).         inactive的时间表示一个文件在指定时间内没有被访问过,就从存储系统中移除,不管你proxy_cache_valid里设置的时间是多少.

Jelastic 1.9支持FTP、NGINX缓存、Apache TomEE以及MariaDB 10

- - InfoQ cn
支持Java和PHP的PaaS云服务器托管平台 Jelastic发布了1.9版本,该版本将支持FTP/FTPS和 NGINX缓存. 最新版还支持 Apache TomEE(Apache Tomcat企业版)和 MariaDB 10,后者使得让开发者能够充分利用多源复制、动态列名以及 MariaDB Galera集群.

谈谈varnish,squid,apache,nginx缓存的对比

- - 行业应用 - ITeye博客
群里总是有人在问cache用什么,有varnish,squid,apache,nginx这几种,到底是我们用什么架构cache. varnish和squid是专业的cache服务,而apache,nginx这些都是第三方模块完成. 2、要做cache服务的话,我们肯定是要选择专业的cache服务,优先选择squid和varnish.

使用 NGINX 进行微程序缓存的好处

- - CSDN博客推荐文章
【编者按】本文作者为 Owen Garrett,主要介绍使用 nginx 进行微程序缓存的好处,辅之以生动的实例. 文章系国内 ITOM 管理平台 OneAPM 编译呈现. NGINX 和 NGINX Plus 被广泛应用于网站内容缓存,小到个人网站,大到一些世界大型内容分发网站(CDNs),例如 MaxCDN 和 CloudFlare.