Generator robots.txt
Tworzenie plików robots.txt dla wyszukiwarek
Reguły dla robotów
Wybierz szablon startowy, a następnie dostosuj dostęp robotów i wyjątki ścieżek.
Grupy reguł
Grupa 1
Disallow · zablokowane ścieżki
Allow · wyjątki
Twój plik robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Podgląd zaktualizowany. Przed publikacją sprawdź swoje reguły.
Zainstaluj w witrynie
- Skopiuj lub pobierz wygenerowaną zawartość.
- Zapisz ją w pliku tekstowym UTF-8 o nazwie robots.txt.
- Wgraj go do katalogu głównego odpowiedniego hosta, protokołu i portu.
- Otwórz adres twojawitryna.pl/robots.txt i sprawdź jego zawartość.
- Po publikacji sprawdź raport pliku robots.txt w Search Console.
Przed publikacją
- robots.txt kontroluje indeksowanie. Zablokowany adres URL nadal może pojawić się w wynikach wyszukiwania.
- Aby użyć noindex, pozwól robotowi pobrać stronę i odczytać jej metatag lub nagłówek odpowiedzi.
- Prywatne strony i strony testowe chroń uwierzytelnianiem; plik robots.txt jest publicznie dostępny.
- Zadbaj, aby pliki CSS i JavaScript potrzebne do renderowania stron pozostały dostępne dla robotów.
- Sprawdź każdy szablon pod kątem własnej struktury adresów URL.
- Używaj konkretnych user-agentów, gdy różne roboty wymagają różnych reguł.
- W ścieżkach wielkość liter ma znaczenie; * to symbol wieloznaczny, a $ oznacza koniec adresu URL.
Disallow · zablokowane ścieżki
Allow · wyjątki
O narzędziu Generator robots.txt
Ten generator robots.txt to darmowe narzędzie online, które pomaga tworzyć poprawnie sformatowane pliki robots.txt dla witryny. Plik robots.txt jest podstawowym elementem technicznego SEO i informuje roboty wyszukiwarek, do których stron lub katalogów mogą, a do których nie mogą mieć dostępu. Reguły dla robotów mogą ograniczyć liczbę żądań do wybranych ścieżek. Zablokowane adresy URL nadal mogą pojawiać się w wynikach wyszukiwania, a obszary prywatne wymagają uwierzytelniania, a nie pliku robots.txt.
Witryna może używać pliku robots.txt w katalogu głównym hosta, gdy potrzebne są reguły dla robotów. Skanowanie można też dopuścić bez tego pliku. Generator udostępnia popularne szablony, wiele grup user-agent oraz opcjonalne pola sitemap i opóźnienia; należy sprawdzić je pod kątem własnych ścieżek witryny.
Niezależnie od tego, czy prowadzony jest blog, sklep internetowy, strona firmowa czy aplikacja SaaS, kreator robots.txt pozwala skonfigurować reguły dla robotów wizualnie, zobaczyć wygenerowany plik w podglądzie na żywo i skopiować go jednym kliknięciem. Do edycji reguł nie jest potrzebne programowanie. Obsługa dyrektyw zależy od robota: Google obsługuje User-agent, Allow, Disallow i Sitemap, a opcjonalne pola opóźnienia i dawne pole Host mogą być ignorowane.
Najważniejsze funkcje
- Szybkie szablony dla podstawowych stron, ustawień restrykcyjnych, blogów WordPress i sklepów internetowych
- Wiele reguł dla robotów z obsługą różnych user-agentów (Googlebot, Bingbot, Yandex i inne)
- Konfiguracja ścieżek Allow i Disallow z nieograniczoną liczbą wpisów w każdej regule
- Pole z adresem URL mapy witryny ułatwiające wyszukiwarkom odkrywanie stron
- Ustawienie Crawl-delay dla robotów, które je respektują (Bing i Yandex tak, Google ignoruje)
- Opcjonalna dawna linia Host dla starszych konfiguracji Yandex (od 2018 roku nie jest już używana przez Yandex; do ustalenia kanonicznej domeny służy przekierowanie 301)
- Podgląd wygenerowanego pliku robots.txt w czasie rzeczywistym
- Kopiowanie do schowka jednym kliknięciem dla szybkiego wdrożenia
- Dołączone instrukcje instalacji krok po kroku
- Zgodność z robotami Google, Bing, Yandex, Baidu i DuckDuckGo
Jak korzystać
- Wybierz szablon: Wybierz szybki szablon (Podstawowy, Restrykcyjny, Blog WordPress lub Sklep internetowy), aby wstępnie wypełnić typowe reguły, albo zacznij od zera.
- Skonfiguruj reguły dla robotów: Ustaw user-agent, dodaj ścieżki Disallow dla katalogów, które mają być zablokowane, oraz ścieżki Allow dla wyjątków.
- Ustaw opcje globalne: W sekcji Ustawienia globalne wpisz adres URL mapy witryny oraz, jeśli trzeba, opóźnienie skanowania.
- Sprawdź wynik w podglądzie: Przejrzyj wygenerowany plik robots.txt w panelu podglądu w czasie rzeczywistym po prawej stronie.
- Skopiuj i wdróż: Kliknij przycisk Kopiuj, aby skopiować zawartość pliku, a następnie zapisz go jako „robots.txt” w katalogu głównym witryny.
- Przetestuj i zwaliduj: Po wgraniu pliku sprawdź raport robots.txt w Google Search Console (Ustawienia), aby potwierdzić, że Google pobrał i przetworzył plik.
Zastosowania
- Optymalizacja budżetu skanowania: Blokowanie mało wartościowych stron, takich jak panele administracyjne, wyniki wyszukiwania i archiwa tagów, aby skupić uwagę robotów na ważnych treściach.
- Zapobieganie duplikacji treści: Blokowanie dostępu do stron z paginacją, widoków filtrowanych i adresów URL z wieloma parametrami, które tworzą zduplikowane treści.
- Zarządzanie obciążeniem serwera: Ustawienie opóźnienia skanowania spowalnia roboty, które je respektują, takie jak Bingbot i YandexBot (Googlebot ignoruje Crawl-delay).
- Ochrona witryn testowych: Dostęp do środowisk deweloperskich lub stagingowych należy ograniczyć za pomocą uwierzytelniania. Sam plik robots.txt nie zapobiega indeksowaniu ich adresów URL.
- Optymalizacja WordPressa: Blokowanie wp-admin i wewnętrznych wyników wyszukiwania przy pozostawieniu admin-ajax.php, motywów i uploadów dostępnych dla robotów, aby strony były poprawnie renderowane, a obrazy indeksowane.
- Dostrajanie sklepu internetowego: Blokowanie skanowania koszyka, kasy, konta i punktów końcowych API przy jednoczesnym dopuszczeniu stron produktów i kategorii.
Najczęściej zadawane pytania
Czy to narzędzie jest darmowe?
Tak, Generator robots.txt jest całkowicie darmowy, bez rejestracji i limitów użycia. Można wygenerować i skopiować dowolną liczbę plików.
Czy moje dane są bezpieczne?
Cała konfiguracja odbywa się w przeglądarce. Żadne dane nie są wysyłane na serwer. Zawartość robots.txt jest generowana w całości po stronie klienta.
Gdzie umieścić plik robots.txt?
Plik robots.txt musi znajdować się w katalogu głównym witryny. Na przykład, aby wyszukiwarki go znalazły, powinien być dostępny pod adresem https://yourdomain.com/robots.txt.
Czy robots.txt może zablokować indeksowanie stron?
Zablokowany adres URL nadal może pojawiać się w wynikach wyszukiwania. Aby zapobiec indeksowaniu za pomocą noindex, robot musi móc pobrać stronę i odczytać metatag lub nagłówek odpowiedzi X-Robots-Tag. Strony prywatne można chronić uwierzytelnianiem.
Czy blokować pliki CSS i JavaScript?
Nie. Google potrzebuje dostępu do plików CSS i JavaScript, aby poprawnie renderować strony. Ich zablokowanie może zaszkodzić SEO, ponieważ Google nie może prawidłowo ocenić układu i treści strony.
Czy robots.txt to zabezpieczenie?
Nie. Plik robots.txt jest publicznie dostępny i stanowi jedynie sugestię dla robotów przestrzegających zasad. Nigdy nie należy polegać na nim przy ochronie poufnych informacji. Zamiast tego należy stosować uwierzytelnianie i kontrolę dostępu po stronie serwera.
Wskazówki i dobre praktyki
- Zawsze dodawaj mapę witryny: Dyrektywa Sitemap pomaga wyszukiwarkom szybciej odkrywać wszystkie ważne strony.
- Testuj po wdrożeniu: Raport robots.txt w Google Search Console i narzędzie do inspekcji adresów URL pozwalają sprawdzić, czy ważne strony nie zostały przypadkowo zablokowane.
- Podawaj dokładne ścieżki: Należy używać precyzyjnych ścieżek katalogów zamiast szerokich wzorców, aby nie zablokować przypadkiem wartościowych treści.
- Używaj celowanych user-agentów: Jeśli potrzebne są różne reguły dla Google i Bing, należy utworzyć osobne bloki reguł z nazwami konkretnych user-agentów.
- Przeglądaj regularnie: Plik robots.txt należy aktualizować przy dodawaniu nowych sekcji, zmianie struktury adresów URL lub migracji witryny.
- Ostrożnie z symbolami wieloznacznymi: Symbol wieloznaczny * i znacznik końca adresu URL $ są potężne, ale użyte nieprawidłowo mogą niechcący zablokować ważne strony.