noindex と robots.txt の disallow の違いは何で、それぞれいつ使うべきですか?
この2つのディレクティブは別々の問題を解決するものであり、それが混乱のほとんどの根本原因です。robots.txt の disallow はクロールを制御し、検索エンジンに対してどの URL を取得してよいかを伝えます。Google 自身のドキュメントによれば、robots.txt は主にサイトがリクエストで過負荷になるのを避けるために存在し、ページを Google から除外するための仕組みでは明確にありません。noindex ルールはインデックスを制御し、検索エンジンに対してそのページを結果から完全に削除するよう伝えます。ですから問題は単に disallow か noindex かではなく、あなたが実際にどんな結果を望んでいるのか、という点に尽きます。
ユーザーは到達できるが検索結果には決して表示させたくないページには noindex を使います。たとえばサンキューページ、サイト内検索の結果ページ、ゲート付きのダウンロード確認ページ、内容の薄いフィルター組み合わせページなどです。Noindex はページのヘッド内の meta robots タグとして設定するか、X-Robots-Tag という HTTP レスポンスヘッダーとして設定します。Googlebot がページをクロールしてそのルールを読み取れば、他のどれだけ多くのサイトからリンクされていようと、そのページは結果から削除されます。この信頼性こそが、ページを検索から除外するための正しいツールが disallow ではなく noindex である理由です。
クローラーに URL をそもそも取得させたくない場合には robots.txt の disallow を使います。これは通常、クロールバジェットを守るため、あるいは管理パス、ファセットのパラメータ URL、ステージングディレクトリ、取得させたくない大きなメディアなど、検索上の価値を生まないセクションにボットを入れないためです。ただしその限界をはっきり理解してください。disallow された URL でも、他のページからリンクされていればインデックスされる可能性があります。Google は、このサイトの robots.txt のためこの結果の説明は利用できません、といったスニペットとともに、URL そのものを表示することがあります。Disallow が隠すのはコンテンツであって、必ずしも一覧への掲載ではありません。
最も大きな損害を生む間違い、そして技術監査の際に絶えず目にするものは、同じ URL に disallow と noindex の両方を適用することです。これらは衝突します。noindex を機能させるには、Google がタグを見るためにページをクロールしなければなりません。robots.txt がクロールをブロックすると、Googlebot は noindex を決して読み取れず、ページは無期限にインデックスに残り続ける可能性があります。ページを検索から消したいなら、Google にクロールさせなければなりません。つまりそれを disallow してはいけないということです。また、Google は robots.txt 内に書かれた noindex ディレクティブをサポートしていない点にも注意してください。
この衝突は Google Search Console では2つの異なるレポートとして現れます。インデックス登録済みですが robots.txt によりブロックされていますは、Google がクロールできない URL をインデックスしたことを意味し、多くの場合は被リンクやサイトマップのエントリが原因です。noindex タグにより除外されましたは、ルールが認識され遵守されたことを意味し、これが健全な状態です。ブロックされているのにインデックスされていて、しかも本当にそのページを除外したい場合に修正するには、disallow を削除し、noindex を追加または確認したうえで、再インデックスをリクエストします。その URL を指す内部リンクを削除すること、あるいはヒントとして rel=nofollow を追加することは、Google がそれを再発見しなくなるのに役立ちます。
X-Robots-Tag という HTTP ヘッダーは、ほとんどのチームが見落としがちな部分です。meta robots タグは HTML 内でしか機能しないため、PDF、画像、動画、その他の非 HTML ファイルを制御できません。X-Robots-Tag は同じ noindex と nofollow のルールをレスポンスヘッダーで運び、あらゆるファイル形式に適用されます。Apache では .htaccess の Files ブロックで全 PDF に対して設定し、NGINX では location マッチ内の add_header で設定します。同じクロール要件が適用され、robots.txt がそのファイルをブロックすると、クローラーはヘッダーを決して見られず、ルールは何も機能しません。
最後にはっきり述べておく価値のある境界線がもう1つあります。どちらのディレクティブもセキュリティではありません。Robots.txt は公開ファイルであり、クロールされたくないパスを実質的に公表してしまいます。そして noindex は、URL をリクエストする相手が人であれボットであれ、完全なコンテンツを提供し続けます。顧客データ、社内ツール、公開前の環境など、本当に非公開にすべきものには、認証やパスワード保護を使ってください。noindex と disallow は検索エンジンに対する可視性の制御として扱い、決してアクセス制御として扱わないでください。
これを実際のサイト全体で正しく行うには、テンプレート化されたすべての URL パターン、サイトマップ、robots.txt のルール、そして meta とヘッダーのディレクティブをまとめて監査する必要があります。なぜならこれらは相互に作用するからです。この横断的なクリーンアップこそ、私たちの 30日でウェブサイト と 安定化 のエンゲージメントが扱うまさにその種の作業です。どの URL をクロールすべきか、どれをインデックスすべきか、どれをロックダウンすべきかをマッピングし、それからディレクティブを実装して、互いに衝突するのではなく補強し合うようにします。