为您的网站生成有效的 robots.txt 文件。添加 user-agent 规则、sitemap、爬取延迟，并使用快速预设快速入门。
一个 robots.txt 文件是位于您网站根目录的纯文本文件，用于告知搜索引擎爬虫哪些站点部分可以访问，哪些不可以访问。它遵循 Robots Exclusion Protocol，自 1994 年起成为行业标准，所有主要搜索引擎——Google、Bing、Yahoo、Yandex 等——均遵守。当爬虫访问您的站点时，首先会检查 yourdomain.com/robots.txt 以了解您的爬取偏好，然后再访问其他页面。
该文件使用简单的指令与爬虫通信。User-agent 指定规则适用于哪个爬虫（使用 * 表示所有爬虫）。Disallow 阻止特定路径被爬取。Allow 允许在被阻止的目录中访问某些路径。Sitemap 将爬虫指向您的 XML sitemap，以便高效发现所有页面。部分爬虫还支持 Crawl-delay，它指示爬虫在请求之间等待若干秒，以降低服务器负载。
一个常见的误解是认为 robots.txt 能阻止页面在搜索结果中被索引。事实并非如此。Disallow 只会阻止爬虫访问该 URL，但如果其他站点链接到它，Google 仍可根据外部信号（如锚文本）对该 URL 进行索引。要真正阻止页面出现在搜索结果中，需要使用 noindex 元标签或 X-Robots-Tag HTTP 响应头。将 robots.txt 视为控制 爬取访问，而非 索引可见性。
您的 robots.txt 文件应始终放置在域名的根目录下——可通过 https://yourdomain.com/robots.txt 访问。它对协议和子域名具有特定性：https://example.com 的规则不适用于 https://www.example.com 或 http://example.com。每个变体都需要各自的文件。对于大多数站点来说，添加指向您 XML sitemap 的 Sitemap directive 是最有价值的操作，因为它帮助爬虫更快、更完整地发现您的内容。请将此生成器与我们的 Meta Tag Generator 和 Schema Generator 一起使用，以完成技术 SEO 设置。
robots.txt 文件是放置在您网站根目录的纯文本文件，用于告知搜索引擎爬虫哪些页面或章节被允许或不允许爬取。它遵循 Robots Exclusion Protocol，所有主要搜索引擎均认可。文件使用 User-agent、Disallow、Allow、Sitemap 等指令来控制爬虫行为并管理机器人与您站点的交互。
不能。robots.txt 中的 Disallow 指令告诉爬虫不要爬取某个页面，但它并不会阻止该页面出现在搜索结果中。如果其他网站链接到被阻止的 URL，Google 仍可根据外部信息（如锚文本）对其进行索引。要真正阻止页面被索引，需要使用 noindex 元标签或 X-Robots-Tag HTTP 响应头。robots.txt 控制爬取访问，而非索引行为。
您的 robots.txt 文件必须放置在网站根目录，以便通过 yourdomain.com/robots.txt 访问。该文件针对特定的协议和子域名：https://example.com/robots.txt 只控制 https://example.com 的爬取，不适用于 https://www.example.com 或 http://example.com。如果使用多个子域名，每个子域名都需要单独的 robots.txt 文件。
最常用的指令包括 User-agent（规则适用于哪个爬虫，使用 * 表示全部），Disallow（阻止某路径爬取），Allow（在被阻止的目录中允许特定路径爬取），Sitemap（指向您的 XML sitemap），以及 Crawl-delay（要求爬虫在请求之间等待设定的秒数，Bing 和 Yandex 支持，但 Google 忽略）。这些指令必须严格遵循语法，且区分大小写。