Wygeneruj ważny plik robots.txt dla swojej witryny. Dodaj reguły user-agent, mapy witryn, opóźnienia crawl i skorzystaj z szybkich presetów, aby szybko rozpocząć.
OneStepToRank śledzi Twoje lokalne pozycje w wynikach wyszukiwania w różnych punktach, monitoruje konkurencję i wysyła powiadomienia, gdy pozycje się zmieniają. Zobacz dokładnie, gdzie znajdujesz się w Google Maps.
RozpocznijPlik robots.txt to zwykły plik tekstowy znajdujący się w katalogu głównym Twojej witryny i informujący roboty wyszukiwarek, które części Twojej strony mogą, a które nie mogą być przeglądane. Opiera się na Robots Exclusion Protocol, standardzie branżowym od 1994 roku, którego przestrzegają wszystkie główne wyszukiwarki — Google, Bing, Yahoo, Yandex i inne. Gdy robot odwiedza Twoją stronę, pierwszą rzeczą, którą robi, jest sprawdzenie yourdomain.com/robots.txt, aby poznać Twoje preferencje dotyczące przeglądania przed odwiedzeniem jakiejkolwiek innej strony.
Plik używa prostych dyrektyw do komunikacji z botami. User-agent określa, którego robota dotyczą reguły (użyj * dla wszystkich botów). Disallow blokuje określone ścieżki przed indeksowaniem. Allow zezwala na dostęp do ścieżek wewnątrz zablokowanego katalogu. Sitemap wskazuje robotom Twoją mapę XML, aby mogły efektywnie odkrywać wszystkie Twoje strony. Niektóre roboty obsługują także Crawl-delay, które nakazuje botom czekać określoną liczbę sekund między żądaniami, aby zmniejszyć obciążenie serwera.
Częstym nieporozumieniem jest przekonanie, że robots.txt zapobiega indeksowaniu stron w wynikach wyszukiwania. To nieprawda. Dyrektywa Disallow zatrzymuje roboty przed odwiedzaniem danego URL, ale jeśli inne witryny linkują do niego, Google może nadal zaindeksować URL na podstawie zewnętrznych sygnałów, takich jak tekst anchor. Aby naprawdę zablokować wyświetlanie strony w wynikach wyszukiwania, potrzebny jest meta tag noindex lub nagłówek HTTP X-Robots-Tag. Traktuj robots.txt jako kontrolę dostępu do crawl, a nie widoczności w indeksie.
Plik robots.txt powinien zawsze znajdować się w katalogu głównym Twojej domeny — dostępnym pod adresem https://yourdomain.com/robots.txt. Jest specyficzny dla protokołu i subdomeny: reguły dla https://example.com nie obowiązują dla https://www.example.com ani http://example.com. Każda wariacja wymaga własnego pliku. Dla większości witryn najcenniejszym dodatkiem jest Sitemap directive wskazująca na Twoją mapę XML, ponieważ pomaga robotom szybciej i pełniej odkrywać Twoje treści. Użyj tego generatora razem z naszym Meta Tag Generator oraz Schema Generator, aby uzyskać kompletną konfigurację technicznego SEO.
Plik robots.txt to zwykły plik tekstowy umieszczony w katalogu głównym Twojej witryny, który informuje roboty wyszukiwarek, które strony lub sekcje mogą, a które nie mogą być przeglądane. Opiera się na Robots Exclusion Protocol, standardzie uznawanym przez wszystkie główne wyszukiwarki. Plik używa dyrektyw takich jak User-agent, Disallow, Allow i Sitemap, aby kontrolować zachowanie robotów i zarządzać ich interakcją z Twoją stroną.
Nie. Dyrektywa Disallow w robots.txt informuje roboty, aby nie przeglądały danej strony, ale nie zapobiega jej pojawieniu się w wynikach wyszukiwania. Jeśli inne witryny linkują do zablokowanego URL, Google może go nadal zaindeksować, wykorzystując informacje zewnętrzne, takie jak tekst anchor. Aby naprawdę zapobiec indeksowaniu strony, użyj meta tagu noindex lub nagłówka HTTP X-Robots-Tag. Robots.txt kontroluje dostęp do crawl, a nie zachowanie indeksowania.
Plik robots.txt musi znajdować się w katalogu głównym Twojej witryny, aby był dostępny pod adresem yourdomain.com/robots.txt. Plik jest specyficzny dla protokołu i subdomeny: https://example.com/robots.txt kontroluje crawl tylko dla https://example.com, a nie dla https://www.example.com ani http://example.com. Jeśli używasz wielu subdomen, każda z nich potrzebuje własnego pliku robots.txt.
Najczęściej używane dyrektywy to User-agent (określa, którego robota dotyczą reguły, użyj * dla wszystkich), Disallow (blokuje ścieżkę przed przeglądaniem), Allow (pozwala na przeglądanie w zablokowanym katalogu), Sitemap (wskazuje robotom Twoją mapę XML) oraz Crawl-delay (nakazuje robotom czekać określoną liczbę sekund między żądaniami, obsługiwane przez Bing i Yandex, ale ignorowane przez Google). Dyrektywy muszą zachować dokładną składnię i są rozróżniane pod względem wielkości liter.