Robots.txt ジェネレーター

Robots.txt ファイルとは？

robots.txt ファイルは、ウェブサイトのルートに配置されるプレーンテキストファイルで、検索エンジンのクローラーにサイトのどの部分にアクセスできるか、できないかを指示します。1994 年から業界標準となっている Robots Exclusion Protocol に従い、Google、Bing、Yahoo、Yandex などすべての主要検索エンジンが遵守しています。クローラーがサイトにアクセスすると、まず yourdomain.com/robots.txt を確認し、クロールの設定を把握してから他のページへ進みます。

ファイルはシンプルなディレクティブでボットと通信します。User-agent はルールを適用するクローラーを指定します（すべてのボットには * を使用）。Disallow は特定のパスへのクロールをブロックし、Allow はブロックされたディレクトリ内のパスへのアクセスを許可します。Sitemap はクローラーに XML サイトマップの場所を示し、ページを効率的に検出させます。一部のクローラーは Crawl-delay をサポートしており、リクエスト間の待機秒数を指示してサーバー負荷を軽減します。

一般的な誤解として、robots.txt がページの検索結果へのインデックスを防ぐと考えられていますが、実際にはそうではありません。Disallow でパスをブロックしても、他サイトからリンクがある場合、Google はアンカーテキストなどの外部シグナルに基づきその URL をインデックスできます。検索結果にページを表示させないようにするには、noindex メタタグまたは X-Robots-Tag HTTP ヘッダーを使用する必要があります。robots.txt は クロールアクセス を制御するものであり、インデックスの可視性 を制御するものではありません。

robots.txt ファイルは常にドメインのルートディレクトリに配置し、https://yourdomain.com/robots.txt でアクセスできるようにしてください。プロトコルとサブドメインごとに適用範囲が異なり、https://example.com 用のルールは https://www.example.com や http://example.com には適用されません。各バリアントごとに個別のファイルが必要です。ほとんどのサイトでは、XML サイトマップを指す Sitemap directive を追加することが最も価値があります。クローラーがコンテンツをより速く、完全に検出できるようになるからです。このジェネレーターは、Meta Tag Generator および Schema Generator と併用して、完全なテクニカル SEO 環境を構築してください。