Nginx 如何在 Nginx 中配置针对搜索引擎蜘蛛的 HTTPS 抓取白名单与加速策略

蜘蛛无需HTTPS白名单或User-Agent放行，因其不带Referer，只需valid_referers none即可通过防盗链；防盗链应仅限静态资源路径，HTTPS配置重点在HTTP/2、OCSP Stapling和合理缓存。

不需要单独为搜索引擎蜘蛛配置 HTTPS 白名单，也不建议按 User-Agent 做特殊放行。蜘蛛（如 Baiduspider、Googlebot）本身不携带 Referer 头，只要 Nginx 的防盗链规则中包含 valid_referers none，它们就能天然通过校验，且不受协议（HTTP/HTTPS）差异影响。

确保蜘蛛能正常抓取的关键配置

多数误拦蜘蛛的问题，源于防盗链逻辑用错了位置或漏了基础匹配项：

1. 必须包含 none：在 valid_referers 指令里明确写上 none，例如：

   valid_referers none *.example.com example.com;

   这是让无 Referer 请求（含绝大多数爬虫）直接进入白名单的最简、最可靠方式。

2. 仅作用于静态资源路径：防盗链规则应限定在 location ~* .(jpg|jpeg|png|gif|css|js|woff2?)$ 这类静态后缀匹配块内，不要放在 location / 或 HTML 接口上——蜘蛛要抓的是页面内容，不是图片链接。
3. 不用管 HTTPS 协议一致性：蜘蛛发起请求时本身不带 Referer，所以不会触发 https://example.com 和 http://example.com 的域名比对，也就不存在因协议不一致导致拦截的问题。

HTTPS 抓取加速的实用策略

蜘蛛访问走 HTTPS 是默认行为，真正影响抓取效率的是响应速度和连接复用能力：

1. 启用 HTTP/2：在 443 server 块中添加 http2，提升并发请求数与头部压缩效率：

   listen 443 ssl http2;

2. 开启 OCSP Stapling：减少 TLS 握手时的证书状态查询延迟：

   ssl_stapling on;

   ssl_stapling_verify on;

   ssl_trusted_certificate /etc/letsencrypt/live/example.com/chain.pem;

3. 合理设置缓存头：对 HTML 页面加 Cache-Control: public, max-age=300（5 分钟），既允许 CDN 缓存，又保证蜘蛛能及时看到更新；静态资源可设更长缓存，避免重复抓取。

不需要、也不推荐的做法

以下操作看似“精准”，实则多余甚至有害：

1. 用 $http_user_agent 匹配蜘蛛：User-Agent 可伪造，且 Nginx 的 if 判断在 location 内行为受限，容易引发逻辑冲突或 500 错误。
2. 给蜘蛛单独开一个 HTTPS server 块：增加维护成本，无实际收益。蜘蛛和用户走同一套 HTTPS 配置即可。
3. 基于 IP 做蜘蛛白名单：百度、谷歌等最新爬虫出口 IP 不固定且常变更，硬编码 IP 段极易失效，还可能误封真实用户。