GPTBot、ClaudeBot、Google-Extended などの AI クローラーがウェブサイトにアクセスできるか確認します。10 大手 AI ボットの robots.txt ルールと HTTP 応答を分析。
AI 搭載検索は顧客がビジネスを見つける方法を変えています。OneStepToRank は Google、AI アシスタント、ローカル検索における可視性を 24 時間体制で監視します。
始める2025 年以降、AI 搭載の検索エンジンやアシスタントはウェブサイトへのトラフィックの主要な源となっています。ChatGPT、Google Gemini、Claude、Perplexity などのツールは、ユーザーに回答を提供するためにウェブをクロールします。サイトがこれらのクローラーをブロックすると、コンテンツが AI 生成の回答に表示されず、可視性とトラフィックが大幅に失われる可能性があります。
同時に、一部の AI ボットはコンテンツを モデルの学習 のみ目的にクロールし、サイトへの直接的なトラフィックは生み出しません。トレーニング用クローラーと検索/閲覧用クローラーの違いを理解することで、許可すべきボットを的確に判断できます。
サイトにアクセスする AI ボットを制御する主な方法は 2 つあります：
User-agent: GPTBot の後に Disallow: / を追加して特定のボットをブロックします。これは主要な AI クローラーが遵守する標準的な任意プロトコルです。このツールを SERP プレビュアー と併用して、従来の検索結果と AI 搭載検索結果の両方でコンテンツが適切に表示されることを確認し、ローカルランクチェッカー で可視性の変化を時間とともに監視しましょう。
主要な AI 企業はモデルの学習や ChatGPT の閲覧、Gemini、Claude、Perplexity 検索などの機能を提供するためにウェブクローラーを展開しています。テスト対象の 10 ボットは GPTBot、ChatGPT-User、ClaudeBot、Google-Extended、Bytespider、CCBot、FacebookBot、PerplexityBot、Applebot-Extended、Cohere-AI です。これらのボットへのアクセスを制御することで、コンテンツが AI 学習に使用されるか、AI 生成の回答に表示されるかが決まります。
robots.txt にルールを追加します。例えば、"User-agent: GPTBot" の後に "Disallow: /" と記述すると OpenAI の学習クローラーをブロックできます。各ボットは固有のユーザーエージェント文字列を持ちます。特定のボットだけをブロックし、他は許可することが可能です。例として、GPTBot（学習用）をブロックしつつ、ChatGPT-User（閲覧用）を許可すれば、コンテンツが ChatGPT の会話に表示され続けます。
目的次第です。GPTBot や CCBot などの学習クローラーをブロックすれば、コンテンツが AI モデルの学習に使用されるのを防げます（著作権上の理由で好む出版社もあります）。一方、ChatGPT-User や PerplexityBot など検索指向のボットをブロックすると、これら AI アシスタントの回答にコンテンツが表示されなくなり、トラフィックが失われる可能性があります。多くのサイト所有者は、学習用ボットはブロックし、AI 検索ボットは許可するという中間的なアプローチを取っています。
robots.txt は任意の標準であり、マナーの良いボットはまずチェックしますが、技術的に従う義務はありません。HTTP レベルのブロックはサーバー設定（.htaccess ルールや CDN 設定など）でユーザーエージェントを検出し、403 Forbidden 応答でリクエストを積極的に拒否します。HTTP ブロックの方が強制力があります。最大限の保護のため、両方の方法を併用してください。