本站文章(技术文章和tank手记)均为社长矢量比特工作.实践.学习中的心得原创,请勿转载!

透过ATS缓存配置看如何判断HTTP资源是否可缓性

CDN/Cache 愚人

缓存有个大原则, 就是在不影响用户、不触犯法律的前提下,尽量多的将资源缓存到本地。 哪些HTTP资源可以cache哪些不能cache,ATS对可缓存性有一套系统的判断机制,设置灵活,可以对全局

       缓存有个大原则,就是在不影响用户、不触犯法律的前提下,尽量多的将资源缓存到本地。哪些HTTP资源可以cache哪些不能cache,ATS对可缓存性有一套系统的判断机制,设置灵活,可以对全局进行配置也可以对个别资源单独配置,可以针对单个url进行配置也可以针对文件后缀类型进行配置,可以对正常资源进行配置也可以对故障信息(状态码400以上)进行配置,可以对静态资源进行配置也可以对动态资源单独配置,现在就剖开看一下。

一、HTTP响应头信息配置缓存级别

       任何cache系统大多数资源都是通过HTTP头信息来判断是否可缓存的,ATS同样如此,此头信息的配置是资源是否cache的一个必要条件,并且根据头部信息的情况将资源分为3个级别,分别是:

2、有明确的缓存生命周期,具体表现是响应头里有expires(到什么时间过期)或者有Cache-Control:(max-age、no-cache),这种设置对用户最负责任,不会出错,我们线上ATS默认使用这个级别

1、有Last-Modified头或者有明确的缓存生命周期,这个级别就要松一些了,即使资源没有明确的缓存周期,但是通过Last-Modified头结合ATS自身的算法机制(引进了老化因子的概念)计算出缓存时间,对资源进行缓存,存多久看后面的第五条;

0、在级别1的基础上,对没有明确头部信息的资源,默认存入本地缓存,存多久见后面第五条,然后每次if-modified-since回源。

具体对应的配置如下:

proxy.config.http.cache.required_headers  0|1|2    (0是无要求,1是有Last-Modified头或者有明确的缓存生命周期,2是有明确的缓存生命周期)

此为ATS所有内容是否可缓存的必要不充分条件。 

二、动态内容是否缓存

       ATS不会像人一样通过理性判断去确定资源是否为动态,他对动静态资源的判断完全是依赖url特征匹配,我们线上的默认配置是不缓存,对应的配置参数是:

proxy.config.http.cache.cache_urls_that_look_dynamic   0|1  (0是不缓存,1是可缓存)

 此为动态内容ATS是否可缓存的必要不充分条件。

三、带cookie的资源是否缓存

      web2.0的网站中,很多资源带有cookie,对于cookie的信息是否缓存,如何缓存才能不影响用户质量考验着cache系统的性能,ATS对于cookie的设置分5个级别:

proxy.config.http.cache.cache_responses_to_cookies INT  0|1|2|3|4

0、任何带cookie的资源都不缓存;

1、任何带cookie的资源都缓存;

2、只缓存是图片的cookie资源;

3、除了文本类型其余的cookie资源都缓存。

4、除了系统响应的没有”Set-Cookie”或者有”Cache-Control:public”的文本类型其余的cookie资源都缓存。(我们线上设备的默认配置级别)

 此为cookie内容ATS是否可缓存的必要不充分条件。

四、故障信息是否缓存

       所谓故障信息指的是源站返回的4XX、5XX等错误代码,对于故障信息是否缓存是存在争议的,ATS在处理上将故障信息分为两类,一类是带有明确生命周期的故障,另一类是没带有生命周期的故障,配置的参数如下:

proxy.config.http.negative_caching_enabled  0|1  (1对所有故障信息都缓存,0是只缓存有明确生命周期的故障信息,线上默认使用的是0)
proxy.config.http.negative_caching_lifetime   2s   (对有明确缓存生命周期的故障信息的缓存时间,可以根据时间时间设置,目前线上默认改为2s)

五、对于请求头、响应头中无任何缓存说明的信息资源

      对于这种信息ats是通过proxy.config.http.cache.required_headers头再加上默认时间指令来控制的,比如header头设置的是0级别,就是说对于头部信息设置最宽松的策略,这时一个请求,如果没有Cache-control、expires、Last-Modified这些字段,但是有Last-Modified头的话,是通过最小化因子计算缓存时间,对应指令和计算方式如下:

proxy.config.http.cache.heuristic_lm_factor FLOAT 0.100000 (缓存时间=当前时间减Last-Modified时间*0.1)

      对于连Last-Modified头都没有的信息,是通过默认存储时间去计算的,这个nginx的判断逻辑有点类似,不过nginx对于缓存与否是全部判断了后再操作,但ats是存不存和存多久是分开的,哪怕存储时间为0也会存一下,这两条指令如下:

proxy.config.http.cache.heuristic_min_lifetime INT 3600proxy.config.http.cache.heuristic_max_lifetime INT 17280000

      单位是秒,也就是说对这种没任何缓存说明信息的资源最小存3600秒,最大存17280000秒。

      其实对于线上环境这三条指令都是用不到的,因为我们把header头的级别设置为了2。

      综上所述:对于ats而言,存储设置是很灵活的,可以对各类资源单独设置,如果觉得还不够还可以在cache.config(影响cache-control字段)对单个资源进行设置。当然每一环都是有逻辑的,我举个例子,现在比如我想要对除了授权类型的所有资源进行强制缓存10天,而且缓存期间不回源,可以这么设置:

traffic_line -s proxy.config.http.cache.cache_urls_that_look_dynamic -v 1
traffic_line -s proxy.config.http.cache.cache_responses_to_cookies -v 1
traffic_line -s proxy.config.http.cache.required_headers -v 0
traffic_line -s proxy.config.http.cache.heuristic_min_lifetime -v 8640000
traffic_line -s proxy.config.http.cache.heuristic_max_lifetime -v 8640000
traffic_line -s proxy.config.http.cache.heuristic_lm_factor -v 0.5
traffic_line -s proxy.config.http.cache.when_to_revalidate -v 3 
cache.config    url_regex=.*    scheme=http       ttl-in-cache=240h

 运维网咖社”原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://www.net-add.com


©本站文章(技术文章和tank手记)均为社长"矢量比特"工作.实践.学习中的心得原创或手记,请勿转载!

喜欢 (2) or 分享 (0)
欢迎扫描关注微信公众号【运维网咖社
社长"矢量比特",曾就职中软、新浪,现任职小米,致力于DevOps运维体系的探索和运维技术的研究实践.