面向 SEO 的 Robots.txt 完整指南

robots.txt 是一个只有四行的文件,它可能在不知不觉中让你损失流量,也可能帮你节省抓取预算。本指南涵盖真正重要的语法、最常损害排名的屏蔽、抓取预算的真正含义,以及如何在上线前验证每一处改动。

阅读约 5 分钟7 个章节2026年6月22日

作者

Kostadin Stamboliev

创始人兼 Imaginator

Pineido 创始人兼 Imaginator。从事 IT 咨询、应用与网站开发、技术 SEO 以及 AI 与自动化。以 30 天冲刺交付生产代码,范围固定,责任明确。

领英

robots.txt 能做什么(以及不能做什么)

robots.txt 位于每个域名的根目录,例如 https://example.com/robots.txt。它告诉遵守规则的爬虫它们被允许请求哪些 URL。Google 说得很直白:该文件的用途是避免大量请求让你的网站过载,它并不是把页面挡在搜索之外的机制。

这一句话就化解了关于 robots.txt 的大多数困惑。抓取是机器人去获取一个 URL。索引是 Google 把该 URL 存下来以便对其排名。robots.txt 只管抓取。如果其他页面链接到一个你禁止抓取的页面,它仍可能出现在结果中,通常是一个没有摘要的裸 URL。要把页面挡在搜索之外,你需要 noindex 元标签、X-Robots-Tag 响应头、密码保护或删除页面,绝不是一行 disallow。

还有一个限制:该文件只是建议性的。Googlebot 和其他正规爬虫会遵守它,但一个怀有恶意的抓取器可以完全无视它。robots.txt 是流量管理工具,不是安全控制。任何必须保密的内容都应放在身份验证之后。

真正重要的语法

robots.txt 文件由一组组规则构成。每组以一行或多行 User-agent 开头,后面跟着 Allow 和 Disallow 规则。一个最简示例:

User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help
Sitemap: https://example.com/sitemap.xml

字段名不区分大小写(User-agent 等同于 user-agent),但路径值区分大小写:/Admin 和 /admin 是不同的。路径相对于根目录,且必须以斜杠开头。注释以 # 开头。

Google、Bing 和其他主要引擎支持两个通配符:* 匹配任意一串字符,$ 锚定 URL 的结尾。因此 Disallow: /*.pdf$ 会屏蔽每一个以 .pdf 结尾的 URL。Crawl-delay 在旧指南中常被列出,但 Google 会忽略它;Bing 和 Yandex 仍然会读取它。请将文件保持为 UTF-8 且小于 500KB,这是 Google 的硬性上限;超过部分会被忽略。

优先级:决定的不是顺序,而是长度

最常见的语法错误是以为规则是自上而下读取的。其实不是。当多条规则匹配同一个 URL 时,路径最长的规则获胜,完全相同时 Allow 胜过 Disallow。这一点在 RFC 9309,即正式的机器人排除协议标准中有明文规定。

示例。对于 URL /home/search/shirts,配以这些规则:

Disallow: /home
Allow: *search*
Disallow: *shirts

该 URL 是可抓取的,因为匹配的 Allow 路径比匹配的 Disallow 路径更长。重新排列这些行不会有任何改变。

关于 user agent 还有第二个陷阱。Google 会把匹配某个特定机器人的所有组合并为一组,但它绝不会把一个具名组与全局的 User-agent: * 组合并。所以一旦你添加了一个 User-agent: Googlebot 区块,Googlebot 就不再读取你的 User-agent: * 规则了。如果你针对某个特定机器人,那个组必须重复你仍希望它遵守的每一条规则。

悄悄损害排名的屏蔽

robots.txt 造成的大多数损害来自过度屏蔽,而非屏蔽不足。最糟糕的元凶是禁止 CSS 和 JavaScript。Google 会渲染页面以理解它们,其自家指引很直接:如果 robots.txt 屏蔽了你页面所用的 JS、CSS 和图片文件,会直接损害 Google 渲染和索引你内容的效果,并可能导致排名下降。屏蔽资源以节省抓取预算的老旧谬论多年前就被淘汰了。

来自 Google 的 Martin Splitt 的细微之处:只有当用户看到的内容依赖某个脚本时,屏蔽它才是真正的问题。被 robots 屏蔽的分析标签或聊天小工具是无害的。但一个被 robots 屏蔽、用于注入你主要正文的打包文件,意味着 Google 看到的是一个空白页面。

第二种悄无声息的失败是用 robots.txt 来取消索引。禁止一个 URL,Google 就永远无法抓取它来发现你之后添加的 noindex 标签,于是页面仍然被索引。如果你想让一个页面消失,就让它保持可抓取并提供 noindex。一个从测试环境遗留下来的笼统 Disallow: / 就是这种情况的灾难版本,它会在网站上线后让整个网站被取消索引。

每周获取运营洞见

加入服务型企业的运营者,每周收到一条关于运营、自动化和增长的可执行洞见。

正在确认您是真人,稍后即可发送。

绝无垃圾邮件,可随时退订。

订阅成功!请留意收件箱中的下一期内容。

抓取预算:它是什么,robots.txt 能做什么

抓取预算是指 Googlebot 在给定的时间窗口内会从你网站获取多少个 URL。对于少于几千个 URL 的网站,它几乎无关紧要;Google 会把它们完整抓取。它在大型目录、市场平台以及任何以组合方式生成 URL 的网站上才会真正变得重要。

经典的浪费来自分面导航和站内搜索。像 ?color=red&size=l&sort=price 这样的筛选器会繁衍出几乎无限、价值很低且独特性很弱的 URL,而站内搜索结果页可以无止境地生成。Google 的 Gary Illyes 反复警告要屏蔽操作型 URL(加入购物车、登录、结账、筛选组合),因为否则 Googlebot 会无止境地抓取它们,甚至连不存在的组合也抓。

纠正许多指南弄错的一个事实:屏蔽页面并不会把腾出的预算交给你的重要页面。只有当你的服务器原本就已触及其服务上限时,Google 才会重新分配。robots.txt 阻止浪费,但它并不制造抓取容量。带来更多抓取的真正杠杆是更快、更健康的服务器,以及质量更高、真正独特的内容。

一个实用的起步模板

大多数服务型企业和内容网站需要的,接近下面这样,再根据真实路径调整:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

注意事项。用绝对 URL 列出每一个 XML 站点地图;可以有多行。不要屏蔽 /wp-content、/assets 或任何存放 CSS、JS 或图片的目录。对参数规则要精确,因为一个草率的 Disallow: /*? 可能会误伤恰好带有跟踪参数的干净 URL。让文件保持简单;复杂堆叠的通配符规则正是意外过度屏蔽藏身之处。每个子域名都需要自己的 robots.txt,每个协议也是如此,所以 http 和 https 被视为各自独立的文件。

上线前用 GSC 和 curl 测试

对每处改动都要验证两件事:Google 获取到的文件正是你想要的那个,以及真实的 URL 按你的预期解析。

先用 curl 看清楚爬虫究竟收到了什么,避免缓存或 CDN 带来的意外:curl -A "Googlebot" https://example.com/robots.txt。确认状态是 200,内容类型是 text/plain,正文与你的源文件一致。一个返回 500 的 robots.txt 会让 Google 在它恢复之前把整个网站都当作被禁止抓取,所以服务器的健康状况在这里很重要。

在 Google Search Console 中,旧的 robots.txt 测试工具已经没有了。请使用设置下的 robots.txt 报告来确认 Google 最后获取的版本以及任何解析警告。要检查某个具体的 URL,把它粘贴进网址检查工具并查看抓取部分;它会告诉你该 URL 是否被屏蔽。要找出现有的损害,打开页面报告并按被 robots.txt 屏蔽筛选。请记住 GSC 只测试 Googlebot,所以对 Bing 或 AI 爬虫要单独验证。这种测试纪律,在上线和迁移之前实施,正是一个固定范围的技术 SEO 冲刺会内置到你发布流程中的那种保障,好让一条漏网的 disallow 永远进不了生产环境。

准备好交付了吗?

告诉我们您卡在哪里。我们会进行评估,并在一个工作日内给出有针对性的建议。

常见问题

我可以用 robots.txt 把页面挡在 Google 之外吗?

不行。robots.txt 控制的是抓取,而非索引。一个被禁止抓取的页面如果有其他页面链接到它,仍可能被索引并以 URL 形式显示,而且屏蔽它会让 Google 永远看不到 noindex 标签。要把页面从搜索中移除,应让它保持可抓取并使用 noindex 元标签或 X-Robots-Tag 响应头,给它加密码保护,或者删除它。

在 robots.txt 中屏蔽 CSS 和 JavaScript 不好吗?

是的,多数情况下不好。Google 会渲染页面以理解它们,并表示屏蔽你页面所用的 CSS、JS 和图片文件会直接损害渲染和索引,并可能降低排名。唯一安全的例外是不影响用户所见内容的脚本,例如聊天小工具。绝不要屏蔽加载你可见正文的打包文件。

robots.txt 规则是按书写顺序生效的吗?

不是。当多条规则匹配同一个 URL 时,匹配路径最长的规则获胜,平局时 Allow 胜过 Disallow。这遵循 RFC 9309。重新排列各行不会改变行为,所以应通过调整路径的具体程度来解决冲突,而不是调整位置。

在 robots.txt 中屏蔽页面会腾出抓取预算吗?

只是有时会。屏蔽低价值的 URL 能阻止浪费,但只有当你的服务器原本就已触及其服务上限时,Google 才会把腾出的预算重新分配给其他页面。对大多数网站而言,更快的服务器和更高质量的独特内容对抓取速率的提升,比单纯屏蔽更有效。

我该如何在 2026 年测试 robots.txt 的改动?

用带 Googlebot user agent 的 curl 来确认文件返回 200 以及你预期的确切内容。在 Google Search Console 中,查看设置下的 robots.txt 报告以获取已获取的版本和警告,使用网址检查工具来测试具体的 URL,并按被 robots.txt 屏蔽筛选页面报告,以发现现有问题。旧的独立测试工具已被弃用。

我究竟该在 robots.txt 中屏蔽什么?

屏蔽那些会制造无限抓取空间的低价值、高数量 URL:分面筛选组合、站内搜索结果、排序和分页参数,以及购物车、结账、登录和账户之类的操作页面。始终让 CSS、JS、图片以及任何你希望被索引的页面保持可抓取。