noindex 和 robots.txt 的 disallow 有什么区别,我应该在什么时候使用每一种?
这两个指令解决的是不同的问题,这正是大多数困惑的根源。robots.txt 的 disallow 控制抓取,它告诉搜索引擎可以获取哪些 URL。根据 Google 自己的文档,robots.txt 的存在主要是为了避免大量请求让你的网站过载,它明确不是用来让页面不被 Google 收录的机制。noindex 规则控制收录,它告诉搜索引擎将页面完全从结果中移除。所以问题从来都不只是选 disallow 还是 noindex,而是你真正想要什么样的结果。
当你希望某个页面用户可以访问、但永远不应出现在搜索结果中时,使用 noindex,例如感谢页、站内搜索结果页、需要门槛的下载确认页,或内容单薄的筛选组合页。Noindex 可以设置为页面头部的 meta robots 标签,或设置为 X-Robots-Tag 这一 HTTP 响应头。一旦 Googlebot 抓取页面并读取到该规则,无论有多少其他网站链接到它,该页面都会从结果中被移除。正是这种可靠性,使得 noindex(而非 disallow)才是让页面不出现在搜索中的正确工具。
当你想完全阻止抓取器获取某个 URL 时,使用 robots.txt 的 disallow,通常是为了保护抓取预算,或把机器人挡在不产生搜索价值的区域之外,比如管理路径、带参数的分面 URL、暂存目录,或你不希望被获取的大型媒体文件。但要清楚它的局限,被 disallow 的 URL 如果有其他页面链接到它,仍可能被收录。Google 可能会显示这个裸 URL,并附上类似的摘要:由于该网站的 robots.txt,此结果的描述不可用。Disallow 隐藏的是内容,而不一定是列表中的出现。
最具破坏性的错误,也是我们在技术审计中不断看到的,是对同一个 URL 同时应用 disallow 和 noindex。它们相互冲突。要让 noindex 生效,Google 必须抓取页面才能看到标签。如果 robots.txt 阻止了抓取,Googlebot 就永远读不到 noindex,页面便可能无限期地滞留在索引中。如果你想让一个页面从搜索中消失,你必须让 Google 抓取它,也就是说不要对它使用 disallow。另请注意,Google 不支持写在 robots.txt 内部的 noindex 指令。
这种冲突在 Google Search Console 中会表现为两份不同的报告。已编入索引,但被 robots.txt 屏蔽,意味着 Google 收录了一个它无法抓取的 URL,通常是因为有入站链接或站点地图条目。被 noindex 标签排除,意味着该规则被看到并被遵守,这是健康的状态。要修复那个被屏蔽却被收录、而你又确实想让它退出的情况,请移除 disallow,添加或确认 noindex,然后请求重新编入索引。移除指向该 URL 的内部链接,或添加 rel=nofollow 作为提示,有助于让 Google 停止重新发现它。
X-Robots-Tag 这个 HTTP 响应头是大多数团队最容易忽略的部分。meta robots 标签只在 HTML 内部起作用,所以它无法管控 PDF、图片、视频或其他非 HTML 文件。X-Robots-Tag 在响应头中携带相同的 noindex 和 nofollow 规则,并适用于任何文件类型。在 Apache 上,你可以用 .htaccess 中的一个 Files 块为所有 PDF 设置它;在 NGINX 上,则用 location 匹配中的一个 add_header。同样的抓取要求依然适用,如果 robots.txt 屏蔽了该文件,抓取器就永远看不到这个响应头,规则也就毫无作用。
最后还有一条值得直白说明的界限,这两个指令都不是安全措施。Robots.txt 是一个公开文件,实际上等于向外公布了你不想被抓取的路径;而 noindex 仍会把完整内容提供给任何请求该 URL 的人,无论是人还是机器人。对于真正私密的内容,比如客户数据、内部工具或上线前的环境,请使用身份验证或密码保护。把 noindex 和 disallow 当作面向搜索引擎的可见性控制,绝不要当作访问控制。
要在一个真实站点上把这件事做对,意味着要把每一种模板化的 URL 模式、站点地图、robots.txt 规则,以及 meta 和响应头指令放在一起审计,因为它们会相互影响。这种跨层面的清理正是我们的 30 天网站 和 稳定化 服务所处理的工作,我们梳理出哪些 URL 应被抓取、哪些应被收录、哪些应被锁定,然后实施这些指令,让它们相互加强而不是相互冲突。