Google 警告不要使用 403 或 404 状态代码来限制 Googlebot 抓取速率

Google 警告不要使用 404 和其他 4xx 客户端服务器状态错误（例如 403）来尝试为 Googlebot 设置抓取速率限制。“请不要那样做，”谷歌搜索关系团队的加里·伊利耶斯（Gary Illyes）写道。

为什么通知。 最近，使用这些技术来限制Googlebot抓取的网站和CDN的数量有所增加。“在过去的几个月里，我们注意到网站所有者和一些内容交付网络（CDN）试图使用和其他客户端错误（但不是）来试图降低Googlebot的抓取率，”Gary Illyes写道。4044xx429

怎么办呢。 Google有一个详细的帮助文档，主题是减少Googlebot抓取您网站。推荐的方法是使用 Google Search Console 抓取速度设置来调整抓取速度。

谷歌解释说：“为了快速降低抓取率，你可以在Search Console中更改Googlebot抓取率。对此设置所做的更改通常会在几天内反映出来。若要使用此设置，请先验证您的网站所有权。请确保避免将抓取速率设置为对于满足网站需求而言太低的值。详细了解抓取预算对 Googlebot 意味着什么。如果抓取速度设置不适用于您的网站，请提交特殊请求以降低抓取速度。您不能请求提高爬网速率。

如果你做不到这一点，谷歌就会说“在短时间内（例如，几个小时或 1-2 天）降低抓取率，然后返回一个信息性错误页面，其中包含 500、503 或 429 HTTP 响应状态代码。

我们为什么关心。 如果您注意到抓取问题，可能是您的托管服务提供商或 CDN 最近部署了这些技术。您可能需要向他们提交支持请求，向他们展示 Google 关于此主题的博客文章，以确保他们没有使用 404 或 403 来降低抓取率。