MEMC_NGINX+SRCACHE_NGINX+MEMCACHED构建透明的动态页面缓存

• 2022-08-09
• 863 View

使用memc-nginx和 srcache-nginx模块就可以主动的向memcached添加缓存，对应用程序来说是透明的。大大的提高动态页面访问速度。第一次访问创建缓存， 后续访问在缓存过期时间内，直接从memcached返回，不需要再次经过php-fpm处理。

nginx_memc模块与nginx_srcache模块配合使用，来提供缓存服务器后端的操作，在技术上，任何提供REST接口的模块都可以与nginx_srcache配合使用来获取和存储缓存子请求。

使用memcached作为后端缓存，需要注意memcached存储大小的限制，不得超过1M。为了使用更宽松的后端存储服务，建议使用redis等。

1. memc-nginx-module模块指令说明：

memc_pass

语法：memc_pass address:port or socket；

默认值：none

配置段：http, server, location, if

指定memcached服务器地址。

memc_cmds_allowed

语法：memc_cmds_allowed <cmd>...

默认值： none

配置段：http, server, location, if

列出允许访问的memcached命令。默认情况下，所有的memcached命令都可以访问。

memc_flags_to_last_modified

语法：memc_flags_to_last_modified on|off

默认值：off

配置段：http, server, location, if

读取memcached标识，并将其设置为Last-Modified头部值。对于有条件的get，nginx返回304未修改响应，以便节省带宽。

memc_connect_timeout

语法：memc_connect_timeout <time>

默认值：60s

配置段: http, server, location

与memcached服务器建立连接的超时时间。不得超过597 hours。

memc_send_timeout

语法：memc_send_timeout <time>

默认值：60s

配置段：http, server, location

设置发送请求到memcached服务器的超时时间。不得超过597 hours。

memc_read_timeout

语法：memc_read_timeout <time>

默认值：60s

配置段：http, server, location

定义从memcached服务器读取响应超时时间。不得超过597 hours。

memc_buffer_size

语法：memc_buffer_size <size>

默认值：4k/8k

配置段：http, server, location

读取从memcached服务器接收到响应的缓冲大小。

2. memcached支持的命令

memcached存储命令set、add、replace、prepend、append，以$memc_key作为键。$memc_exptime定义过期时间，默认值为0。$memc_flags作为标识，默认值为0，来建立相应的memcached查询。

如果$memc_value没有定义，那么请求的请求体将作为该值，除了incr和decr命令外。注意：如果$memc_value定义为空的字符串，那么该空字符串仍然被当做该值。

2.1 get $memc_key

使用键来检索值。

location /foo {

set $memc_cmd 'get';

set $memc_key 'my_key';

memc_pass 127.0.0.1:11211;

add_header X-Memc-Flags $memc_flags;

}

如果该键被找到，响应体为该键值，返回200。否则范围404 Not Found。如果发生错误或客户端错误或服务端错误，则返回502。标识码设置到$memc_flags变量。通常使用add_header指令来添加到响应头部。

2.2 set $memc_key $memc_flags $memc_exptime $memc_value

将请求体作为memcached值。如果另外指定值可以通过$memc_value变量来指定。

或

返回201，说明创建memcached缓存存储成功。返回200说明NOT_STORED。返回404说明NOT_FOUND。返回502说明发生错误或客户端错误或服务端错误。

memcached原始响应是响应体，404 NOT FOUND除外。

2.3 add $memc_key $memc_flags $memc_exptime $memc_value

和set命令相似

2.4 prepend $memc_key $memc_flags $memc_exptime $memc_value

和set命令相似

2.5 delete $memc_key

删除该键值

返回200说明删除成功。返回404说明NOT_FOUND。返回502说明发生错误或客户端错误或服务端错误。

2.6 delete $memc_key $memc_exptime

和delete命令相似。

2.7 incr $memc_key $memc_value

给指定的$memc_key对应的$memc_value增量。

location /foo {

set $memc_key my_key;

set $memc_value 2;

memc_pass 127.0.0.1:11211;

}

每次访问/foo将导致my_key的值加2。

返回200说明成功。返回404说明键Not Found。返回502说明发生错误或客户端错误或服务端错误。

2.8 decr $memc_key $memc_value

与incr相似。

2.9 flush_all

刷新memcached上所有的键。

location /foo {

set $memc_cmd flush_all;

memc_pass 127.0.0.1:11211;

}

2.10 flush_all $memc_exptime

与flush_all相似。

2.11 stats

输出memcached统计信息。

location /foo {

set $memc_cmd stats;

memc_pass 127.0.0.1:11211;

}

2.12 version

返回memcached版本信息。

location /foo {

set $memc_cmd version;

memc_pass 127.0.0.1:11211;

}

3. srcache-nginx-module模块指令说明：

srcache_fetch

语法：srcache_fetch <method> <uri> <args>?

默认值：no

配置段：http, server, location, location if

查询缓存。返回200说明缓存命中，直接从缓存响应客户端请求。非200需要后端程序处理。

srcache_fetch_skip

语法：srcache_fetch_skip <flag>

默认值：srcache_fetch_skip 0

配置段：http, server, location, location if

<flag>支持nginx变量。当这个参数值不为空和不等于0，则从缓存取数据过程被无条件跳过。

srcache_store

语法：srcache_store <method> <uri> <args>?

默认值：no

配置段：http, server, location, location if

将当前请求的响应存入缓存。可以使用srcache_store_skip和srcache_store_max_size指令禁用缓存。不管是响应状态行，响应头，响应体都会被缓存。默认情况下，下列特殊响应头不会被缓存：

Connection

Keep-Alive

Proxy-Authenticate

Proxy-Authorization

TE

Trailers

Transfer-Encoding

Upgrade

Set-Cookie

可以使用srcache_store_pass_header、srcache_store_hide_header指令来控制哪些头要缓存哪些不要。

注意：即使所有的响应数据被立即发送，当前的nginx请求生命周期未必完成，直到srcache_store子请求完成。这意味着服务器端延迟关闭TCP连接，或下一个请求服务发送同一个TCP连接。

srcache_store_max_size

语法：srcache_store_max_size <size>

默认值：srcache_store_max_size 0

配置段：http, server, location, location if

当响应体超过该值，将不会缓存。

当后端缓存存储有对缓存数据做硬限制，这个指令非常有用。比如memcached服务器，上限是1M。

默认值0，不限制。

srcache_store_skip

语法：srcache_store_skip <flag>

默认值：srcache_store_skip 0

配置段：http, server, location, location if

<flag>支持nginx变量。当这个参数值不为空和不等于0，则从存入缓存过程被无条件跳过。

srcache_store_statuses

语法：srcache_store_statuses <status1> <status2> ..

默认值：srcache_store_statuses 200 301 302

配置段：http, server, location, location if

该指令控制那些状态码响应被缓存。

srcache_header_buffer_size

语法：srcache_header_buffer_size <size>

默认值：srcache_header_buffer_size 4k/8k

配置段：http, server, location, location if

在序列化响应头时控制头缓冲大小。默认大小为页面大小，通常为4k或8k，取决于具体平台。

注意：该大小是以每个头的，因此，需要足够大来容纳最大响应头。

srcache_store_hide_header

语法：srcache_store_hide_header <header>

默认值：no

配置段：http, server, location, location if

默认情况下，除了以下头缓存所有响应头：

Connection

Keep-Alive

Proxy-Authenticate

Proxy-Authorization

TE

Trailers

Transfer-Encoding

Upgrade

Set-Cookie

可以隐藏多个响应头，不区分大小写。如

srcache_store_hide_header X-Foo;

srcache_store_hide_header Last-Modified;

srcache_store_pass_header

语法：srcache_store_pass_header <header>

默认值：no

配置段：http, server, location, location if

默认情况下，除了以下头缓存所有响应头：

Connection

Keep-Alive

Proxy-Authenticate

Proxy-Authorization

TE

Trailers

Transfer-Encoding

Upgrade

Set-Cookie

可以缓存多个响应头，不区分大小写。如

srcache_store_pass_header Set-Cookie;

srcache_store_pass_header Proxy-Autenticate;

srcache_methods

语法：srcache_methods <method>...

默认值：srcache_methods GET HEAD

配置段：http, server, location

srcache_ignore_content_encoding

语法：srcache_ignore_content_encoding on|off

默认值: srcache_ignore_content_encoding off

配置段：http, server, location, location if

内容是否编码。

建议后端服务器禁用gzip/deflate压缩。在nginx.conf配置：

proxy_set_header Accept-Encoding "";

srcache_request_cache_control

语法：srcache_request_cache_control on|off

默认值：srcache_request_cache_control off

配置段：http, server, location

当该指令为on时，请求头Cache-Control和Pragma按照下面的方法处理：

1. srcache_fetch查询缓存操作时，当请求头Cache-Control: no-cache 、 Pragma: no-cache 将跳过。

2. srcache_store存入缓存操作时，当请求头Cache-Control: no-store将跳过。

当该指令为off时，将禁用此功能，对于繁忙的站点依赖缓存加速被认为是最安全的。

srcache_response_cache_control

语法：srcache_response_cache_control on|off

默认值：srcache_response_cache_control on

配置段：http, server, location

当该指令为on时，响应头Cache-Control和Expires按照下面的方法处理：

Cache-Control: private skips srcache_store,

Cache-Control: no-store skips srcache_store,

Cache-Control: no-cache skips srcache_store,

Cache-Control: max-age=0 skips srcache_store,

Expires: <date-no-more-recently-than-now> skips srcache_store.

该指令优先级比srcache_store_no_store，srcache_store_no_cache，srcache_store_private高。

srcache_store_no_store

语法：srcache_store_no_store on|off

默认值：srcache_store_no_store off

配置段：http, server, location

开启该指令，将强制响应头Cache-Control: no-store。默认为关闭。

srcache_store_no_cache

语法：srcache_store_no_cache on|off

默认值：srcache_store_no_cache off

配置段：http, server, location

开启该指令，将强制响应头Cache-Control: no-cache。默认为关闭。

srcache_store_private

语法：srcache_store_private on|off

默认值：srcache_store_private off

配置段：http, server, location

开启该指令，将强制响应头Cache-Control: private。默认为关闭。

srcache_default_expire

语法：srcache_default_expire <time>

默认值：srcache_default_expire 60s

配置段：http, server, location, location if

控制默认过期时间。当响应头既没有Cache-Control: max-age=N也没有指定Expires时，允许的$srcache_expire变量值。

该值必须小于597hours。

srcache_max_expire

语法：srcache_max_expire <time>

默认值：srcache_max_expire 0

配置段：http, server, location, location if

控制最大缓存时间，此设置优先级高于其他计算方法。

该值必须小于597hours。

默认为0，不限制。

4. srcache-nginx-module变量

$srcache_expire

当前的响应存入缓存的过期时间。按照下面的方法计算：

1. 当响应头Cache-Control: max-age=N被指定，那么N将作为过期时间。

2. 如果响应头Expires被指定，那么该值与当前时间差作为过期时间。

3. 当既没有指定Cache-Control: max-age=N也没有指定Expires，那么使用 srcache_default_expire 指定的值。

如果超过srcache_max_expire指令值，那么此变量最终值为srcache_max_expire。

$srcache_fetch_status

获取缓存的三种状态值：HIT, MISS, BYPASS。

$srcache_store_status

存入缓存的两种状态值：STORE ，BYPASS。

5. 安装nginx_memc和nginx_srcache模块

6. 配置