SEOのためのrobots.txt 完全ガイド

robots.txtはわずか4行のファイルですが、知らないうちにトラフィックを失わせることも、クロールバジェットを守ることもあります。本ガイドでは、本当に重要な構文、最も頻繁に順位を下げるブロック、クロールバジェットの真の意味、そして公開前にすべての変更を検証する方法を解説します。

約7分で読めます7セクション2026年6月22日

執筆

Kostadin Stamboliev

創業者・Imaginator

Pineido の創業者・Imaginator。IT コンサルティング、アプリ・ウェブ開発、テクニカル SEO、AI と自動化に携わる。スコープと責任を明確にした 30 日間のスプリントで本番コードを届ける。

LinkedIn

robots.txtにできること(そしてできないこと)

robots.txtは各ドメインのルートに置かれます。たとえば https://example.com/robots.txt です。これは、ルールに従うクローラーに対し、どのURLをリクエストしてよいかを伝えます。Googleははっきりとこう述べています。このファイルはサイトにリクエストが殺到して過負荷になるのを避けるためのものであり、ページを検索から締め出す仕組みではありません。

この一文がrobots.txtに関する混乱のほとんどを解消します。クロールとはボットがURLを取得することです。インデックスとはGoogleがそのURLを保存し、順位付けできるようにすることです。robots.txtはクロールだけを統制します。あなたがdisallowしたページでも、他のページがそこへリンクしていれば、通常はスニペットのない裸のURLとして結果に表示されることがあります。ページを検索から締め出すには、noindexメタタグ、X-Robots-Tagヘッダー、パスワード保護、または削除が必要で、disallow行では決してありません。

もう一つの限界として、このファイルはあくまで助言にすぎません。Googlebotやその他の信頼できるクローラーはこれに従いますが、悪意のあるスクレイパーは完全に無視できます。robots.txtはトラフィック管理の道具であって、セキュリティ管理ではありません。秘匿しておくべきものは認証の背後に置くべきです。

本当に重要な構文

robots.txtファイルはルールのグループの集まりです。各グループは1つ以上のUser-agent行で始まり、その後にAllowとDisallowのルールが続きます。最小限の例です。

User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help
Sitemap: https://example.com/sitemap.xml

フィールド名は大文字小文字を区別しません(User-agentはuser-agentと同じ)が、パスの値は区別します。/Adminと/adminは別物です。パスはルートからの相対で、スラッシュで始める必要があります。コメントは#で始まります。

Google、Bing、その他の主要エンジンは2つのワイルドカードをサポートします。*は任意の連続した文字に一致し、$はURLの末尾を固定します。したがって Disallow: /*.pdf$ は.pdfで終わるすべてのURLをブロックします。Crawl-delayは古いガイドで広く挙げられていますが、Googleは無視します。BingとYandexは今も読み取ります。ファイルはUTF-8で500KB未満に保ってください。これがGoogleの厳格な上限で、それを超える部分は無視されます。

優先順位。順序ではなく長さが決める

最もよくある構文の誤りは、ルールが上から下へ読まれると思い込むことです。そうではありません。複数のルールがあるURLに一致する場合、パスが最も長いルールが勝ち、完全に同点ならAllowがDisallowに勝ちます。これは正式なロボット排除プロトコル標準であるRFC 9309に明文化されています。

例。URL /home/search/shirts に対して、次のルールがある場合。

Disallow: /home
Allow: *search*
Disallow: *shirts

このURLはクロール可能です。一致するAllowのパスが、一致するDisallowのパスより長いからです。行を並べ替えても何も変わりません。

user agentに関する2つ目の落とし穴があります。Googleは特定のボットに一致するすべてのグループを1つにまとめますが、名前付きのグループをグローバルなUser-agent: *のグループと結合することは決してありません。ですから、User-agent: Googlebot のブロックを追加した瞬間、Googlebotはあなたの User-agent: * のルールを読まなくなります。特定のボットを対象にするなら、そのグループは引き続き守らせたいすべてのルールを繰り返す必要があります。

ひそかに順位を下げるブロック

robots.txtによる損害のほとんどは、ブロック不足ではなく過剰ブロックから生じます。最悪の犯人はCSSとJavaScriptをdisallowすることです。Googleはページを理解するためにレンダリングしており、その公式ガイダンスは率直です。ページが使うJS、CSS、画像ファイルをrobots.txtがブロックすると、Googleがコンテンツをレンダリングしインデックスする精度を直接損ない、順位の低下を招きかねません。アセットをブロックするという古いクロールバジェットの神話は何年も前に引退しました。

GoogleのMartin Splittによる微妙な点として、スクリプトのブロックが本当に問題になるのは、ユーザーが見るコンテンツがそれに依存している場合だけです。robotsでブロックされた解析タグやチャットウィジェットは無害です。しかし、あなたの本文を注入するバンドルがrobotsでブロックされていると、Googleには空のページが見えます。

2つ目のひそかな失敗は、robots.txtを使ってインデックスから外そうとすることです。URLをdisallowすると、Googleはそれをクロールできないため、あなたが後で追加するnoindexタグを見つけることができず、ページはインデックスに残り続けます。ページを消したいなら、クロール可能なままにしてnoindexを返してください。ステージング環境から残った包括的な Disallow: / はこの破滅版で、公開後にサイト全体をインデックスから外してしまいます。

毎週、オペレーションのヒントを受け取る

サービス業の経営者・運営者と一緒に、オペレーション、自動化、成長に関する実践的なヒントを毎週1つ受け取りましょう。

人間であることを確認しています。まもなく送信できます。

スパムは送りません。いつでも配信停止できます。

登録が完了しました。次号を受信トレイでお待ちください。

クロールバジェット。それは何か、robots.txtに何ができるか

クロールバジェットとは、Googlebotが一定の期間内にあなたのサイトから取得するURLの数のことです。数千URL未満のサイトではほとんど問題になりません。Googleはそれらを完全にクロールします。これが現実の問題になるのは、大規模なカタログ、マーケットプレイス、そしてURLを組み合わせ的に生成するあらゆるサイトです。

典型的な無駄はファセットナビゲーションとサイト内検索です。?color=red&size=l&sort=price のようなフィルターは、固有の価値がほとんどないほぼ無限のURLへと増殖し、サイト内検索の結果ページは際限なく生まれ得ます。GoogleのGary Illyesは、アクションURL(カート追加、ログイン、チェックアウト、フィルターの組み合わせ)をブロックするよう繰り返し警告しています。さもないとGooglebotは、存在しない組み合わせさえ含めて、それらを延々とクロールするからです。

多くのガイドが誤解している事実の訂正です。ページをブロックしても、解放されたバジェットが重要なページに回されるわけではありません。Googleが再配分するのは、サーバーがすでに処理上限に達していた場合だけです。robots.txtは無駄を止めますが、クロール能力を生み出しはしません。より多くのクロールを引き出す真のレバーは、より速く健全なサーバーと、より高品質で本当に独自なコンテンツです。

実用的な出発点テンプレート

ほとんどのサービス業や コンテンツサイトは、実際のパスに合わせて調整した、これに近いものを望みます。

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

注意点。すべてのXMLサイトマップを絶対URLで列挙してください。複数行にできます。/wp-content、/assets、またはCSS、JS、画像を含むディレクトリはブロックしないでください。パラメータのルールは正確にしてください。ぞんざいな Disallow: /*? は、たまたまトラッキングパラメータを持つクリーンなURLまで巻き込みかねないからです。ファイルはシンプルに保ってください。複雑に積み重なったワイルドカードルールこそ、意図しない過剰ブロックが潜む場所です。各サブドメインには独自のrobots.txtが必要で、各プロトコルも同様です。したがってhttpとhttpsは別々のファイルとして扱われます。

公開前にGSCとcurlでテストする

変更ごとに2つのことを検証してください。Googleが取得するファイルがあなたの意図したものであること、そして実際のURLがあなたの予想どおりに解決することです。

まずcurlで、キャッシュやCDNによる意外な結果なしに、クローラーが正確に何を受け取るかを確認します。curl -A "Googlebot" https://example.com/robots.txt。ステータスが200、コンテンツタイプがtext/plain、本文があなたのソースと一致することを確認してください。500を返すrobots.txtは、それが回復するまでGoogleにサイト全体をdisallowと見なさせるため、ここではサーバーの健全性が重要です。

Google Search Consoleでは、古いrobots.txtテスターはなくなりました。設定の下にあるrobots.txtレポートを使って、Googleが最後に取得したバージョンと解析の警告を確認してください。特定のURLを調べるには、それをURL検査ツールに貼り付けてクロールのセクションを読みます。そのURLがブロックされているかどうかを教えてくれます。既存の損害を見つけるには、ページレポートを開き、robots.txtによりブロック済みで絞り込みます。GSCはGooglebotしかテストしないことを忘れないでください。BingやAIクローラーについては別途検証します。このテストの規律を、公開や移行の前に適用すること。これこそ、はぐれたdisallowが決して本番に到達しないよう、固定スコープのテクニカルSEOスプリントがあなたのリリースプロセスに組み込む、まさにその種のセーフガードです。

リリースの準備はできましたか?

どこで行き詰まっているかを教えてください。内容を確認し、1営業日以内に的を絞った提案をお送りします。

よくある質問

robots.txtを使ってページをGoogleから締め出せますか。

いいえ。robots.txtが制御するのはクロールであってインデックスではありません。disallowされたページでも、他のページがそこへリンクしていればインデックスされてURLとして表示されることがあり、ブロックするとGoogleがnoindexタグを見ることが二度とできなくなります。ページを検索から削除するには、クロール可能なままにしてnoindexメタタグかX-Robots-Tagヘッダーを使うか、パスワードで保護するか、削除してください。

robots.txtでCSSやJavaScriptをブロックするのは良くないことですか。

はい、ほとんどの場合は良くありません。Googleはページを理解するためにレンダリングしており、ページが使うCSS、JS、画像ファイルをブロックするとレンダリングとインデックスを直接損ない、順位を下げかねないと述べています。唯一安全な例外は、チャットウィジェットのように、ユーザーが見るコンテンツに影響しないスクリプトです。あなたの見えている本文を読み込むバンドルは決してブロックしないでください。

robots.txtのルールは書かれた順に適用されますか。

いいえ。複数のルールがあるURLに一致する場合、一致するパスが最も長いルールが勝ち、同点ならAllowがDisallowに勝ちます。これはRFC 9309に従います。行を並べ替えても挙動は変わらないので、競合は位置ではなくパスの具体性を調整して解決してください。

robots.txtでページをブロックするとクロールバジェットが空きますか。

そうなるのは時々だけです。価値の低いURLをブロックすれば無駄は止まりますが、Googleが解放されたバジェットを他のページに再配分するのは、サーバーがすでに処理上限に達していた場合だけです。ほとんどのサイトでは、ブロック単独よりも、より速いサーバーとより高品質な独自コンテンツのほうがクロール頻度に効きます。

2026年にrobots.txtの変更はどうテストすればよいですか。

Googlebotのuser agentを指定したcurlで、ファイルが200と予想どおりの内容を返すことを確認します。Google Search Consoleでは、設定の下のrobots.txtレポートで取得されたバージョンと警告を確認し、URL検査ツールで特定のURLをテストし、ページレポートをrobots.txtによりブロック済みで絞り込んで既存の問題を見つけます。古い単独のテスターは廃止されました。

robots.txtでは実際に何をブロックすべきですか。

無限のクロール空間を生み出す、価値が低く量の多いURLをブロックします。ファセットフィルターの組み合わせ、サイト内検索の結果、並べ替えやページネーションのパラメータ、そしてカート、チェックアウト、ログイン、アカウントのようなアクションページです。CSS、JS、画像、そしてインデックスさせたいページは常にクロール可能なままにしてください。