Genereer een geldig robots.txt‑bestand voor uw website. Voeg user-agent regels, sitemaps, crawl‑delays toe en gebruik snelle presets om direct te starten.
OneStepToRank volgt uw lokale zoekrankings over verschillende locaties, houdt concurrenten in de gaten en stuurt u meldingen wanneer posities veranderen. Zie precies waar u staat op Google Maps.
Aan de slagEen robots.txt-bestand is een platte-tekstbestand dat zich in de root van uw website bevindt en zoekmachine‑crawlers vertelt welke delen van uw site ze wel of niet mogen bezoeken. Het volgt het Robots Exclusion Protocol, een industriestandaard sinds 1994 die elke grote zoekmachine — Google, Bing, Yahoo, Yandex en anderen — respecteert. Wanneer een crawler uw site bezoekt, controleert hij als eerste op yourdomain.com/robots.txt om uw crawl‑voorkeuren te begrijpen voordat hij andere pagina’s bezoekt.
Het bestand gebruikt eenvoudige richtlijnen om met bots te communiceren. User-agent geeft aan op welke crawler de regels van toepassing zijn (gebruik * voor alle bots). Disallow blokkeert specifieke paden voor crawling. Allow staat toegang toe tot paden binnen een geblokkeerde map. Sitemap wijst crawlers naar uw XML‑sitemap zodat ze al uw pagina’s efficiënt kunnen ontdekken. Sommige crawlers ondersteunen ook Crawl-delay, waarmee bots een aantal seconden tussen verzoeken moeten wachten om de serverbelasting te verminderen.
Een veelvoorkomende misvatting is dat robots.txt voorkomt dat pagina’s in zoekresultaten worden geïndexeerd. Dat is niet het geval. Het blokkeren van een pad voorkomt dat crawlers die URL bezoeken, maar als andere sites ernaar linken, kan Google de URL nog steeds indexeren op basis van externe signalen zoals ankertekst. Om een pagina daadwerkelijk uit zoekresultaten te houden, heeft u een noindex-meta‑tag of een X-Robots-Tag HTTP‑header nodig. Beschouw robots.txt als een middel om crawl‑toegang te regelen, niet index‑zichtbaarheid.
Uw robots.txt‑bestand moet altijd in de root‑directory van uw domein worden geplaatst — toegankelijk via https://yourdomain.com/robots.txt. Het is protocol‑ en subdomeinspecifiek: regels voor https://example.com gelden niet voor https://www.example.com of http://example.com. Elke variant heeft zijn eigen bestand nodig. Voor de meeste sites is het opnemen van een Sitemap‑directive die naar uw XML‑sitemap wijst, het meest waardevolle dat u kunt toevoegen, omdat het crawlers helpt uw inhoud sneller en vollediger te ontdekken. Gebruik deze generator samen met onze Meta Tag Generator en Schema Generator voor een volledige technische SEO‑opzet.
Een robots.txt‑bestand is een platte‑tekstbestand dat in de root van uw website staat en zoekmachine‑crawlers vertelt welke pagina’s of secties ze wel of niet mogen crawlen. Het volgt het Robots Exclusion Protocol, een standaard die door alle grote zoekmachines wordt erkend. Het bestand gebruikt richtlijnen zoals User-agent, Disallow, Allow en Sitemap om het crawl‑gedrag te regelen en te bepalen hoe bots met uw site omgaan.
Nee. Een Disallow‑richtlijn in robots.txt vertelt crawlers een pagina niet te crawlen, maar voorkomt niet dat die pagina in zoekresultaten verschijnt. Als andere websites naar een geblokkeerde URL linken, kan Google die URL nog steeds indexeren op basis van externe informatie zoals ankertekst. Om een pagina echt te verhinderen te worden geïndexeerd, gebruikt u een noindex‑meta‑tag of een X-Robots-Tag HTTP‑header. Robots.txt regelt alleen de crawl‑toegang, niet de indexering.
Uw robots.txt‑bestand moet in de root‑directory van uw website staan, zodat het toegankelijk is via yourdomain.com/robots.txt. Het bestand is specifiek voor het protocol en subdomein: https://example.com/robots.txt regelt alleen crawling voor https://example.com, niet voor https://www.example.com of http://example.com. Als u meerdere subdomeinen gebruikt, heeft elk subdomein zijn eigen robots.txt‑bestand nodig.
De meest gebruikte richtlijnen zijn: User-agent (geeft aan op welke crawler de regels van toepassing zijn, gebruik * voor alle crawlers), Disallow (blokkeert een pad voor crawling), Allow (staat crawling toe binnen een geblokkeerde map), Sitemap (wijst crawlers naar uw XML‑sitemap‑URL) en Crawl-delay (verzoekt crawlers een aantal seconden te wachten tussen verzoeken; ondersteund door Bing en Yandex, maar genegeerd door Google). Deze richtlijnen zijn hoofdlettergevoelig en moeten exact volgens de syntax worden geschreven.