准确查看搜索引擎和 AI 机器人如何查看您的页面。检查源代码、渲染后的 HTML、截图、响应头和 SEO 标签。
| Type | URL | Status |
|---|
抓取与渲染是一种技术，用于查看网页时搜索引擎爬虫或 AI 机器人实际看到的内容。它不是在带有您的 Cookie、登录会话和缓存资源的普通浏览器中打开页面，而是使用特定的 用户代理字符串（如 Googlebot 或 GPTBot）发送请求，下载原始 HTML 源码，在无头浏览器环境中执行所有 JavaScript，并捕获最终结果。
这揭示了访客看到的内容与搜索引擎索引的内容之间的关键差异。常见问题包括 JavaScript 渲染失败导致内容对爬虫隐藏，基于用户代理的欺骗向机器人提供不同内容，资源被阻止导致页面无法正确渲染，以及 重定向链稀释链接权益或将机器人引导至错误的目的地。
Google 的爬虫以两轮方式处理页面。第一轮下载并索引原始 HTML 源码。随后，它渲染页面的 JavaScript 以发现动态加载的内容。如果您的内容仅在 JavaScript 执行后出现——这在 React、Angular、Vue 应用中很常见——任何渲染失败都意味着 Google 将看不到该内容，直到渲染成功。
通过使用此工具测试您的页面，您可以确认：
随着 AI 驱动搜索的兴起，验证 AI 机器人如何与您的站点交互变得日益重要。GPTBot（OpenAI）、ClaudeBot（Anthropic）以及其他 AI 爬虫可能从您的服务器获取与 Googlebot 不同的内容。一些 CDN 和安全服务默认阻止 AI 机器人，这意味着您的内容不会出现在 AI 生成的答案中。
将此工具与我们的 AI 机器人访问测试器 一起使用，以检查 robots.txt 规则；并使用我们的 SERP 预览工具 查看优化后的 meta 标签在搜索结果中的展示效果。持续监控方面，我们的 本地排名检查器 可跟踪您的可见性随时间的变化。
抓取与渲染使用特定机器人的用户代理字符串（如 Googlebot 或 GPTBot）下载网页，并在无头浏览器中执行其 JavaScript。它返回原始源代码、完整渲染的 HTML、可视化截图、所有加载的资源、HTTP 响应头以及提取的 SEO 标签——让您准确了解爬虫访问页面时看到的内容。
多种因素可能导致差异。服务器可能检测到 Googlebot 的用户代理并提供不同内容（欺骗），您的 JavaScript 在爬取环境中可能失败，资源可能被 robots.txt 阻止，或页面依赖于机器人没有的 Cookie 或身份验证。此工具帮助您准确识别 Googlebot 接收到的内容与访客看到的内容之间的差异。
源代码是服务器在任何 JavaScript 执行之前返回的原始 HTML。渲染后 HTML 是所有 JavaScript 运行、AJAX 调用完成、动态内容加载后的最终 DOM。对于 JavaScript 密集型站点（React、Angular、Vue），源代码可能仅包含一个壳层 div，而渲染后 HTML 则包含全部实际内容。搜索引擎会索引渲染后的 HTML。
可以。此工具支持多种用户代理预设，包括 GPTBot（OpenAI）、ClaudeBot（Anthropic）、Googlebot 桌面版、Googlebot 移动版、Bingbot，以及可自行输入任意用户代理字符串的自定义选项。这帮助您验证服务器是否向 AI 爬虫提供不同内容或完全阻止它们。