Robots.txt-Generator
robots.txt-Dateien für Suchmaschinen erstellen
Crawler-Regeln
Wählen Sie eine Vorlage als Ausgangspunkt und passen Sie dann den Crawler-Zugriff und die Pfadausnahmen an.
Regelgruppen
Gruppe 1
Disallow · gesperrte Pfade
Allow · Ausnahmen
Ihre robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Vorschau aktualisiert. Prüfen Sie Ihre Regeln vor der Veröffentlichung.
Auf Ihrer Website installieren
- Kopieren Sie den erstellten Inhalt oder laden Sie ihn herunter.
- Speichern Sie ihn in einer UTF-8-Textdatei namens robots.txt.
- Laden Sie sie in das Stammverzeichnis des passenden Hosts mit dem passenden Protokoll und Port hoch.
- Rufen Sie yoursite.com/robots.txt auf und prüfen Sie den Inhalt.
- Prüfen Sie nach der Veröffentlichung den robots.txt-Bericht in Search Console.
Vor der Veröffentlichung
- robots.txt steuert das Crawling. Eine gesperrte URL kann weiterhin in Suchergebnissen erscheinen.
- Um noindex zu verwenden, erlauben Sie dem Crawler, die Seite abzurufen und ihr Meta-Tag oder ihren Antwort-Header zu lesen.
- Schützen Sie private Seiten und Staging-Seiten durch Authentifizierung; robots.txt ist öffentlich lesbar.
- Halten Sie CSS und JavaScript, die zum Rendern Ihrer Seiten benötigt werden, für Crawler zugänglich.
- Prüfen Sie jede Vorlage anhand Ihrer eigenen URL-Struktur.
- Verwenden Sie bestimmte User-agents, wenn verschiedene Crawler unterschiedliche Regeln benötigen.
- Bei Pfaden wird zwischen Groß- und Kleinschreibung unterschieden; * ist ein Platzhalter und $ markiert das Ende der URL.
Disallow · gesperrte Pfade
Allow · Ausnahmen
Über den Robots.txt-Generator
Der Robots.txt-Generator ist ein kostenloses Online-Tool, mit dem Sie korrekt formatierte robots.txt-Dateien für Ihre Website erstellen. Die robots.txt-Datei ist ein grundlegender Bestandteil des technischen SEO und teilt Crawlern von Suchmaschinen mit, auf welche Seiten oder Verzeichnisse sie zugreifen dürfen und auf welche nicht. Crawler-Regeln können Anfragen an ausgewählte Pfade verringern. Blockierte URLs können trotzdem in den Suchergebnissen erscheinen, und private Bereiche brauchen eine Authentifizierung statt robots.txt.
Eine Website kann am Stammverzeichnis ihres Hosts eine robots.txt-Datei verwenden, wenn Crawler-Regeln nötig sind. Das Crawlen lässt sich auch ohne diese Datei erlauben. Dieser Generator bietet gängige Vorlagen, mehrere User-Agent-Gruppen sowie optionale Felder für Sitemap und Verzögerung; prüfen Sie sie anhand der eigenen Pfade Ihrer Website.
Ob Blog, Onlineshop, Unternehmenswebsite oder SaaS-Anwendung: Mit dem Robots.txt-Ersteller konfigurieren Sie Crawler-Regeln visuell, sehen die erzeugte Datei in Echtzeit in der Vorschau und kopieren sie mit einem Klick. Zum Bearbeiten der Regeln ist keine Programmierung nötig. Die Unterstützung von Direktiven hängt vom Crawler ab: Google unterstützt User-agent, Allow, Disallow und Sitemap, während optionale Verzögerungs- und ältere Host-Felder möglicherweise ignoriert werden.
Hauptfunktionen
- Schnellvorlagen für einfache Websites, restriktive Konfigurationen, WordPress-Blogs und Onlineshops
- Mehrere Crawler-Regeln mit Unterstützung für verschiedene User-Agents (Googlebot, Bingbot, Yandex und weitere)
- Konfiguration von Allow- und Disallow-Pfaden mit beliebig vielen Einträgen pro Regel
- Feld für die Sitemap-URL, damit Suchmaschinen Ihre Seiten besser finden
- Crawl-delay-Einstellung für Bots, die sie beachten (Bing und Yandex tun das, Google ignoriert sie)
- Optionale ältere Host-Zeile für ältere Yandex-Konfigurationen (wird von Yandex seit 2018 nicht mehr verwendet; nutzen Sie für die Domain-Kanonisierung eine 301-Weiterleitung)
- Vorschau der erzeugten robots.txt-Datei in Echtzeit
- Kopieren in die Zwischenablage mit einem Klick für die schnelle Bereitstellung
- Schritt-für-Schritt-Installationsanleitung inklusive
- Kompatibel mit den Crawlern von Google, Bing, Yandex, Baidu und DuckDuckGo
Anleitung
- Vorlage wählen: Wählen Sie eine Schnellvorlage (Basic, Restrictive, WordPress Blog oder E-commerce), um gängige Regeln vorauszufüllen, oder beginnen Sie bei null.
- Crawler-Regeln konfigurieren: Legen Sie den User-Agent fest, fügen Sie Disallow-Pfade für zu sperrende Verzeichnisse hinzu und Allow-Pfade für Ausnahmen.
- Globale Optionen festlegen: Geben Sie im Bereich „Global Settings“ Ihre Sitemap-URL und bei Bedarf eine Crawl-Verzögerung ein.
- Ausgabe prüfen: Kontrollieren Sie die erzeugte robots.txt-Datei in der Echtzeit-Vorschau auf der rechten Seite.
- Kopieren und bereitstellen: Klicken Sie auf die Schaltfläche „Kopieren“, um den Dateiinhalt zu kopieren, und speichern Sie ihn dann als „robots.txt“ im Stammverzeichnis Ihrer Website.
- Testen und validieren: Prüfen Sie nach dem Hochladen den robots.txt-Bericht in der Google Search Console (Einstellungen), um sicherzugehen, dass Google Ihre Datei abgerufen und verarbeitet hat.
Anwendungsfälle
- Crawl-Budget optimieren: Sperren Sie Seiten mit geringem Wert wie Admin-Bereiche, Suchergebnisse und Tag-Archive, damit sich Crawler auf wichtige Inhalte konzentrieren.
- Duplicate Content vermeiden: Sperren Sie den Zugriff auf paginierte Seiten, gefilterte Ansichten und parameterlastige URLs, die doppelte Inhalte erzeugen.
- Serverlast steuern: Legen Sie eine Crawl-Verzögerung fest, um Bots zu bremsen, die sie beachten, etwa Bingbot und YandexBot (Googlebot ignoriert Crawl-delay).
- Staging-Seiten schützen: Beschränken Sie den Zugriff auf Entwicklungs- oder Staging-Umgebungen per Authentifizierung. robots.txt allein verhindert nicht, dass deren URLs indexiert werden.
- WordPress optimieren: Sperren Sie wp-admin und interne Suchergebnisse, lassen Sie aber admin-ajax.php, Themes und Uploads crawlbar, damit Seiten korrekt gerendert und Bilder indexiert werden können.
- Onlineshops feinjustieren: Verhindern Sie das Crawlen von Warenkorb, Kasse, Konto und API-Endpunkten und erlauben Sie Produkt- und Kategorieseiten.
Häufig gestellte Fragen
Ist dieses Tool kostenlos?
Ja, der Robots.txt-Generator ist völlig kostenlos, ohne Registrierung und ohne Nutzungslimits. Erzeugen und kopieren Sie so viele Dateien, wie Sie brauchen.
Sind meine Daten sicher?
Die gesamte Konfiguration findet in Ihrem Browser statt. Es werden keine Daten an einen Server gesendet. Der Inhalt der robots.txt wird vollständig auf Ihrer Seite erzeugt.
Wo sollte ich die robots.txt-Datei ablegen?
Die robots.txt-Datei muss im Stammverzeichnis Ihrer Website liegen. Sie sollte zum Beispiel unter https://yourdomain.com/robots.txt erreichbar sein, damit Suchmaschinen sie finden.
Kann robots.txt verhindern, dass Seiten indexiert werden?
Eine blockierte URL kann dennoch in den Suchergebnissen erscheinen. Um die Indexierung mit noindex zu verhindern, muss der Crawler die Seite abrufen und das Meta-Tag oder den Antwort-Header X-Robots-Tag lesen können. Private Seiten lassen sich durch Authentifizierung schützen.
Sollte ich CSS- und JavaScript-Dateien sperren?
Nein. Google braucht Zugriff auf CSS- und JavaScript-Dateien, um Ihre Seiten korrekt zu rendern. Sie zu sperren kann Ihrem SEO schaden, weil Google Layout und Inhalt Ihrer Seite dann nicht richtig beurteilen kann.
Ist robots.txt eine Sicherheitsmaßnahme?
Nein. Die robots.txt-Datei ist öffentlich zugänglich und dient nur als Hinweis für Crawler, die sich an Regeln halten. Verlassen Sie sich nie darauf, um sensible Informationen zu schützen. Verwenden Sie stattdessen serverseitige Authentifizierung und Zugriffskontrollen.
Tipps und bewährte Vorgehensweisen
- Immer die Sitemap angeben: Eine Sitemap-Direktive hilft Suchmaschinen, alle Ihre wichtigen Seiten schneller zu finden.
- Nach der Bereitstellung testen: Nutzen Sie den robots.txt-Bericht in der Google Search Console und das URL-Prüftool, um sicherzugehen, dass wichtige Seiten nicht versehentlich blockiert sind.
- Pfade genau angeben: Verwenden Sie präzise Verzeichnispfade statt grober Muster, damit wertvolle Inhalte nicht versehentlich gesperrt werden.
- Gezielte User-Agents nutzen: Wenn Sie für Google und Bing unterschiedliche Regeln brauchen, legen Sie getrennte Regelblöcke mit den jeweiligen User-Agent-Namen an.
- Regelmäßig überprüfen: Aktualisieren Sie Ihre robots.txt, wenn Sie neue Bereiche hinzufügen, URL-Strukturen ändern oder Ihre Website umziehen.
- Platzhalter mit Bedacht einsetzen: Der Platzhalter * und die URL-Endmarkierung $ sind mächtig, können bei falscher Verwendung aber unbeabsichtigt wichtige Seiten blockieren.