Gere um arquivo robots.txt válido para o seu site. Adicione regras de user-agent, sitemaps, atrasos de rastreamento e use presets rápidos para começar rapidamente.
OneStepToRank acompanha suas posições de busca local em vários pontos, monitora concorrentes e envia alertas quando as posições mudam. Veja exatamente onde você está classificado no Google Maps.
ComeçarUm arquivo robots.txt é um arquivo de texto simples que reside na raiz do seu site e informa aos rastreadores dos motores de busca quais partes do seu site eles podem ou não acessar. Ele segue o Robots Exclusion Protocol, um padrão da indústria desde 1994 que todos os principais motores de busca — Google, Bing, Yahoo, Yandex e outros — respeitam. Quando um rastreador chega ao seu site, a primeira coisa que ele faz é verificar yourdomain.com/robots.txt para entender suas preferências de rastreamento antes de visitar qualquer outra página.
O arquivo usa diretivas simples para se comunicar com os bots. User-agent especifica a qual rastreador as regras se aplicam (use * para todos os bots). Disallow bloqueia caminhos específicos de serem rastreados. Allow permite acesso a caminhos dentro de um diretório bloqueado. Sitemap aponta os rastreadores para o seu sitemap XML, permitindo que descubram todas as suas páginas de forma eficiente. Alguns rastreadores também suportam Crawl-delay, que indica aos bots que esperem um número de segundos entre as requisições para reduzir a carga no servidor.
Um equívoco comum é que o robots.txt impede que páginas sejam indexadas nos resultados de busca. Isso não é verdade. Bloquear um caminho impede os rastreadores de visitar essa URL, mas se outros sites linkarem para ela, o Google ainda pode indexar a URL com base em sinais externos, como o texto âncora. Para realmente bloquear uma página de aparecer nos resultados de busca, você precisa de uma meta tag noindex ou de um cabeçalho HTTP X-Robots-Tag. Pense no robots.txt como controlador de acesso de rastreamento, não de visibilidade de indexação.
O seu arquivo robots.txt deve sempre ser colocado no diretório raiz do seu domínio — acessível em https://yourdomain.com/robots.txt. Ele é específico ao protocolo e subdomínio: regras para https://example.com não se aplicam a https://www.example.com ou http://example.com. Cada variante precisa de seu próprio arquivo. Para a maioria dos sites, incluir uma diretiva Sitemap apontando para o seu sitemap XML é a coisa mais valiosa que você pode adicionar, pois ajuda os rastreadores a descobrir seu conteúdo de forma mais rápida e completa. Use este gerador junto com o nosso Gerador de Meta Tags e o Gerador de Schema para uma configuração completa de SEO técnico.
Um arquivo robots.txt é um arquivo de texto simples colocado na raiz do seu site que informa aos rastreadores dos motores de busca quais páginas ou seções eles podem ou não rastrear. Ele segue o Robots Exclusion Protocol, um padrão reconhecido por todos os principais motores de busca. O arquivo usa diretivas como User-agent, Disallow, Allow e Sitemap para controlar o comportamento dos rastreadores e gerenciar como os bots interagem com o seu site.
Não. Uma diretiva Disallow no robots.txt indica aos rastreadores que não rastreiem uma página, mas não impede que essa página apareça nos resultados de busca. Se outros sites linkarem para uma URL bloqueada, o Google ainda pode indexá‑la usando informações externas, como o texto âncora. Para realmente impedir a indexação de uma página, use uma meta tag noindex ou o cabeçalho HTTP X‑Robots‑Tag. O robots.txt controla o acesso de rastreamento, não o comportamento de indexação.
O seu arquivo robots.txt deve ser colocado no diretório raiz do seu site para que fique acessível em yourdomain.com/robots.txt. O arquivo é específico ao protocolo e subdomínio: https://example.com/robots.txt controla o rastreamento apenas para https://example.com, não para https://www.example.com ou http://example.com. Se você usar vários subdomínios, cada um precisa do seu próprio arquivo robots.txt.
As diretivas mais usadas são User-agent (qual rastreador as regras se aplicam, use * para todos), Disallow (bloqueia um caminho de ser rastreado), Allow (permite o rastreamento dentro de um diretório bloqueado), Sitemap (aponta os rastreadores para o seu sitemap XML) e Crawl-delay (pede que os rastreadores esperem um número definido de segundos entre as requisições, suportado pelo Bing e Yandex, mas ignorado pelo Google). Essas diretivas devem seguir a sintaxe exata e são sensíveis a maiúsculas e minúsculas.