トップ > テクニカルSEO > robots.txtのよくある間違いとは？SEOに影響を与えるミスとその対策
最終更新日

robots.txtのよくある間違いとは？SEOに影響を与えるミスとその対策

テクニカルSEO

robots.txtは、ウェブサイトのルートディレクトリに設置されるテキストファイルで、検索エンジンのクローラーに対し、サイト内のどのページやディレクトリをクロールしてよいか、あるいはクロール禁止かを指示します。
SEO（検索エンジン最適化）において、クロール効率を高め、重要なページを優先的にインデックスさせるために重要な役割を果たします。ただし、誤った設定は重大なSEO問題を引き起こす可能性があります。2025年現在、Googleのクロールバジェットやユーザー体験（UX）重視のアルゴリズムにより、robots.txtの正確な設定がますます重要視されています。

この記事では、robots.txtのよくある間違いとその対策を、最新情報と専門家の知見に基づいて解説します。SEO対策をされている方は必見の内容です。

robots.txtの関連記事はこちら

robots.txtのよくある間違いとその影響

robots.txtの設定ミスは、サイトのクローラビリティやインデックスに悪影響を及ぼし、検索順位の低下やトラフィックの損失を招く可能性があります。以下に、最新のトレンドを踏まえた代表的な間違いとその解決策を紹介します。

1. 重要なページを誤ってブロック

間違い
Disallow: / や Disallow: /* といった記述でサイト全体や重要なディレクトリをブロックしてしまう。
影響
Googlebotが重要なページ（例: ホームページや主要カテゴリページ）をクロールできず、インデックスから除外される。これにより、検索結果に表示されなくなるリスクが高まる。

対策

  • robots.txtの記述を確認し、意図しないDisallow指令を削除。

  • Google Search Consoleの「robots.txtテスター」を使用して、重要なページがブロックされていないか検証。

  • 例: ブログページをブロックしたくない場合、Disallow: /blog/を削除し、代わりにAllow: /blog/を明示。

ポイント：AIクローラー（例: ChatGPTのボット）も増加しているため、特定のボットを対象にした細かな制御が必要。※特定のAIボットのみ拒否などの設定も可能

2. 構文エラーやスペルミス

間違い
DisallowをDisalowやDisallowsと誤記、または大文字小文字を誤る（例: user-agentをUser-Agent以外で記述）。
影響
Googleはエラー行を無視し、意図しないクロールが行われるか、設定が機能しない。重大な場合は、サイト全体がクロールされない可能性も。

対策

  • 記述はUTF-8エンコーディングで、正確なフィールド名（User-agent, Disallow, Allow）を使用。

  • Google Search Consoleの「robots.txtテスター」で構文エラーをチェック。エラー数が0であることを確認。

  • 例: 正しい記述

    User-agent: *
Disallow: /private/
Allow: /private/public/

ポイント：一部のクローラーは大文字小文字を区別するため、フィールド名はUser-agentのように大文字で統一。

3. Crawl-delayの誤用

間違い
Crawl-delay指令を過剰に設定、またはGooglebotに適用（Googleはこれを無視）。
影響
GooglebotはCrawl-delayを空白行として扱い、後続のルールが適用されない場合がある。これにより、意図しないページがブロックされる。

対策

  • GooglebotにはCrawl-delayを使用せず、Search Consoleの「クロール速度設定」で調整。

  • 他のクローラー（例: Bingbot）向けに設定する場合、ルールの最後に記述し、Allow/Disallowを先に配置。

    User-agent: Bingbot
Disallow: /guest/
Crawl-delay: 10

ポイント：サーバー負荷軽減のため、AIボット向けにCrawl-delayを活用するサイトが増加中。

4. ワイルドカードの不適切な使用

間違い
Disallow: /*.pdfやDisallow: /*?*など、非標準のワイルドカードを使用。
影響
Googleはワイルドカードをサポートするが、非推奨のパターン（例: *.rss）は一部クローラーで無視される。結果、意図しないクロールやインデックスが発生。

対策

  • Googleがサポートするワイルドカード（*や$）を正しく使用。例: PDFファイルをブロックする場合、Disallow: /*.pdf$。

  • 複雑なパターンは正規表現を避け、明確なパス指定を優先。

  • テストツールで動作確認を徹底。

ポイント：AIクローラーの増加に伴い、ワイルドカードの互換性を確認する重要性が高まっている。

5. robots.txtの設置場所の誤り

間違い
robots.txtをサブディレクトリ（例: /subfolder/robots.txt）に設置。
影響
Googleはルートディレクトリ（例: https://○○.com/robots.txt）のみを参照するため、誤った場所では機能しない。

対策

  • ファイルをサイトのルートディレクトリ（public_htmlなど）にアップロード。

  • サブドメインの場合、各サブドメインに個別のrobots.txtを設置（例：https://○○.○○.com/robots.txt）。

  • 404エラーが出る場合は、ファイルの存在とアクセス権限を確認。

ポイント：マルチドメイン運用では、ドメインごとのrobots.txt管理を徹底。

6. インデックス制御の誤解

間違い
robots.txtでインデックスを制御しようとする（例: Disallowで検索結果から除外）。
影響
Disallowはクロールを防ぐが、インデックス済みページは検索結果に残る可能性がある（例: 外部リンク経由）。スニペットが生成できず、ユーザー体験が低下。

対策

  • インデックス制御にはmeta noindexタグを使用。

    <meta name="robots" content="noindex">

  • Disallowはクロール制御に限定し、重要なページはAllowで明示。 2025年Tips: GoogleのSGE（Search Generative Experience）では、インデックスされたページの正確な制御が必須。

7. サイトマップの記載漏れ

間違い
Sitemap指令を記載せず、クローラーにサイト構造を伝えられない。
影響
クローラーが重要なページを見逃すリスクが高まり、インデックス漏れが発生。

対策

  • robots.txtにXMLサイトマップのURLを記載。

    Sitemap: https://○○.com/sitemap.xml

  • 複数サイトマップがある場合、すべて列挙。

  • Search Consoleでサイトマップを登録し、インデックス状況を監視。

ポイント：AIによるサイト構造解析が進化し、正確なサイトマップがクロール効率を向上。

robots.txtの正しい設定例

以下は、SEOに配慮したrobots.txtのサンプルです。

User-agent: *
Disallow: /private/
Disallow: /*.pdf$
Allow: /private/public/
Sitemap: https://○○.com/sitemap.xml

  • すべてのクローラーを対象に、privateディレクトリとPDFファイルをブロック。

  • 公開ページは明示的に許可。

  • サイトマップでクロール効率を向上。

テストと検証の重要性

robots.txtの設定後は、以下のツールで検証をしてください。

  • Google Search Console（robots.txtテスター）: 構文エラーやブロック状況を確認。

  • Website PlanetのRobots.txt Validator: 無料でエラーと最適化のアドバイスを提供。

  • Ahrefs/Semrush: クロールエラーやインデックス状況を分析。

ポイント：定期的なログ分析（例: Google Analytics 4）で、クローラーの挙動をモニタリング。AIクローラーのアクセスパターンも追跡。

よくある質問（FAQ）

Q1: robots.txtはSEOに必須ですか？

A: いいえ、小規模サイトでは不要な場合もあります。ただし、ページ数が多いサイトではクロールバジェット最適化に不可欠です。

Q2: 設定ミスで検索順位が下がった場合の対処は？

A: Search Consoleでエラーを特定し、修正後「再クロール」をリクエスト。最大30日程度で回復できるかと思われます。

Q3: 2025年の新トレンドは？

A: AIクローラー対応と動的コンテンツの制御。LLM（大規模言語モデル）ボットのアクセス管理が注目。LLMS.txtの効果に関しては継続して調査が必要です。

Q4: 無料ツールで十分？

A: Googleカスタム検索や無料テスターで初期対応可能だが、大規模サイトでは有料ツール（例: Algolia）が推奨されています。

まとめ

robots.txtの設定ミスは、SEOパフォーマンスを大きく損なう可能性があります。重要なページのブロック、構文エラー、インデックス制御の誤解を避け、正確な設定と定期検証を徹底しましょう。2025年はAIクローラーの増加とGoogleのUX重視が進む中、クロール最適化が上位表示の鍵です。Google Search Centralや専門ツールで最新情報を確認し、SEO効果を最大化してください。

ご質問があれば、コメント欄でどうぞ！