Robots.txt genereren
Maak robots.txt-bestanden voor zoekmachines
Regels voor crawlers
Kies een sjabloon als uitgangspunt en pas daarna de toegang voor crawlers en de padafwijkingen aan.
Regelgroepen
Groep 1
Disallow · geblokkeerde paden
Allow · uitzonderingen
Uw robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Voorbeeld bijgewerkt. Controleer uw regels voordat u ze publiceert.
Op uw website installeren
- Kopieer of download de gegenereerde inhoud.
- Sla deze op in een UTF-8-tekstbestand met de naam robots.txt.
- Upload het bestand naar de hoofdmap van de bijbehorende host, het protocol en de poort.
- Ga naar uwsite.nl/robots.txt en controleer de inhoud.
- Bekijk na publicatie het robots.txt-rapport in Search Console.
Controleer vóór publicatie
- robots.txt bepaalt het crawlen. Een geblokkeerde URL kan nog steeds in de zoekresultaten verschijnen.
- Om noindex te gebruiken, moet de crawler de pagina kunnen ophalen en de metatag of de responsheader kunnen lezen.
- Beveilig privé- en stagingpagina's met authenticatie; robots.txt is openbaar leesbaar.
- Houd de CSS en JavaScript die nodig zijn om uw pagina's weer te geven crawlbaar.
- Controleer elk sjabloon aan de hand van uw eigen URL-structuur.
- Gebruik specifieke user-agents wanneer verschillende crawlers verschillende regels nodig hebben.
- Paden zijn hoofdlettergevoelig; * is een jokerteken en $ markeert het einde van de URL.
Disallow · geblokkeerde paden
Allow · uitzonderingen
Over Robots.txt genereren
De Robots.txt-generator is een gratis online tool waarmee u correct opgemaakte robots.txt-bestanden voor uw website maakt. Het robots.txt-bestand is een fundamenteel onderdeel van technische SEO dat zoekmachinecrawlers vertelt tot welke pagina's of mappen ze wel of geen toegang hebben. Crawlerregels kunnen het aantal verzoeken naar geselecteerde paden beperken. Geblokkeerde URL's kunnen nog steeds in zoekresultaten verschijnen en privégedeelten vragen om authenticatie in plaats van robots.txt.
Een website kan een robots.txt-bestand in de hoofdmap van de host gebruiken wanneer crawlerregels nodig zijn. Sites kunnen crawlen ook toestaan zonder dit bestand. Deze generator biedt veelgebruikte sjablonen, meerdere user-agentgroepen en optionele velden voor sitemap en vertraging; controleer ze aan de hand van de eigen paden van uw site.
Of u nu een blog, webwinkel, bedrijfswebsite of SaaS-applicatie beheert, met de robots.txt-maker stelt u crawlerregels visueel samen, bekijkt u het gegenereerde bestand direct in een voorbeeld en kopieert u het met één klik. Voor het bewerken van de regels is geen programmeerkennis nodig. De ondersteuning van richtlijnen verschilt per crawler: Google ondersteunt User-agent, Allow, Disallow en Sitemap, terwijl optionele velden voor vertraging en het verouderde Host-veld kunnen worden genegeerd.
Belangrijkste functies
- Snelle sjablonen voor eenvoudige websites, restrictieve instellingen, WordPress-blogs en webwinkels
- Meerdere crawlerregels met ondersteuning voor verschillende user-agents (Googlebot, Bingbot, Yandex en meer)
- Padconfiguratie voor Allow en Disallow met onbeperkt veel items per regel
- Invoerveld voor de sitemap-URL, zodat zoekmachines uw pagina's beter vinden
- Crawl-delay-instelling voor bots die deze respecteren (Bing en Yandex doen dat; Google negeert het)
- Optionele verouderde Host-regel voor oudere Yandex-configuraties (sinds 2018 niet meer gebruikt door Yandex; gebruik een 301-omleiding voor domeincanonicalisatie)
- Direct voorbeeld van het gegenereerde robots.txt-bestand
- Kopiëren naar het klembord met één klik, voor snelle implementatie
- Stapsgewijze installatie-instructies inbegrepen
- Compatibel met de crawlers van Google, Bing, Yandex, Baidu en DuckDuckGo
Gebruik
- Kies een sjabloon: Selecteer een snel sjabloon (Basis, Restrictief, WordPress-blog of Webwinkel) om veelgebruikte regels vooraf in te vullen, of begin helemaal opnieuw.
- Stel de crawlerregels in: Kies de user-agent, voeg Disallow-paden toe voor mappen die u wilt blokkeren en voeg Allow-paden toe voor uitzonderingen.
- Stel de algemene opties in: Voer uw sitemap-URL in en, indien nodig, een crawlvertraging in het onderdeel Algemene instellingen.
- Bekijk de uitvoer: Controleer het gegenereerde robots.txt-bestand in het livevoorbeeld rechts.
- Kopieer en plaats het bestand: Klik op de knop Kopiëren om de inhoud van het bestand te kopiëren en sla het op als "robots.txt" in de hoofdmap van uw website.
- Test en valideer: Controleer na het uploaden het robots.txt-rapport in Google Search Console (Instellingen) om te bevestigen dat Google uw bestand heeft opgehaald en verwerkt.
Toepassingen
- Crawlbudget optimaliseren: Blokkeer pagina's met weinig waarde, zoals beheerpanelen, zoekresultaten en tagarchieven, zodat crawlers zich op belangrijke content richten.
- Dubbele content voorkomen: Weiger toegang tot gepagineerde pagina's, gefilterde weergaven en URL's met veel parameters die dubbele content veroorzaken.
- Serverbelasting beheersen: Stel een crawlvertraging in om bots af te remmen die deze respecteren, zoals Bingbot en YandexBot (Googlebot negeert Crawl-delay).
- Stagingsites beschermen: Gebruik authenticatie om de toegang tot ontwikkel- of stagingomgevingen te beperken. Met robots.txt alleen voorkomt u niet dat hun URL's worden geïndexeerd.
- WordPress optimaliseren: Blokkeer wp-admin en interne zoekresultaten, maar houd admin-ajax.php, thema's en uploads crawlbaar, zodat pagina's goed worden weergegeven en afbeeldingen kunnen worden geïndexeerd.
- Webwinkels afstellen: Voorkom het crawlen van winkelwagen, checkout, account en API-eindpunten, terwijl product- en categoriepagina's toegankelijk blijven.
Veelgestelde vragen
Is deze tool gratis?
Ja, de Robots.txt-generator is volledig gratis, zonder registratie of gebruikslimieten. Genereer en kopieer zoveel bestanden als u nodig hebt.
Zijn mijn gegevens veilig?
Alle configuratie gebeurt in uw browser. Er worden geen gegevens naar een server verzonden. De inhoud van robots.txt wordt volledig aan de clientzijde gegenereerd.
Waar moet ik het robots.txt-bestand plaatsen?
Het robots.txt-bestand moet in de hoofdmap van uw website staan. Het moet bijvoorbeeld bereikbaar zijn op https://yourdomain.com/robots.txt, zodat zoekmachines het kunnen vinden.
Kan robots.txt voorkomen dat pagina's worden geïndexeerd?
Een geblokkeerde URL kan toch in zoekresultaten verschijnen. Om indexering met noindex te voorkomen, laat u de crawler de pagina ophalen en de metatag of de responsheader X-Robots-Tag lezen. Authenticatie kan privépagina's beschermen.
Moet ik CSS- en JavaScript-bestanden blokkeren?
Nee. Google heeft toegang tot CSS- en JavaScript-bestanden nodig om uw pagina's correct weer te geven. Blokkeren kan uw SEO schaden, omdat Google de lay-out en inhoud van uw pagina dan niet goed kan beoordelen.
Is robots.txt een beveiligingsmaatregel?
Nee. Het robots.txt-bestand is openbaar toegankelijk en dient alleen als verzoek aan crawlers die zich aan de regels houden. Vertrouw er nooit op om gevoelige informatie te beschermen. Gebruik in plaats daarvan authenticatie en toegangscontrole aan de serverzijde.
Tips & best practices
- Neem altijd uw sitemap op: Een Sitemap-richtlijn helpt zoekmachines al uw belangrijke pagina's sneller te vinden.
- Test na het plaatsen: Gebruik het robots.txt-rapport in Google Search Console en de tool URL-inspectie om te bevestigen dat belangrijke pagina's niet per ongeluk worden geblokkeerd.
- Wees specifiek met paden: Gebruik nauwkeurige mappaden in plaats van brede patronen, zodat u niet per ongeluk waardevolle content blokkeert.
- Gebruik gerichte user-agents: Als u voor Google en Bing verschillende regels nodig hebt, maak dan aparte regelblokken met specifieke user-agentnamen.
- Controleer regelmatig: Werk uw robots.txt bij wanneer u nieuwe secties toevoegt, URL-structuren wijzigt of uw website migreert.
- Wees voorzichtig met jokertekens: Het jokerteken * en het eindmarkering $ voor URL's zijn krachtig, maar kunnen bij onjuist gebruik per ongeluk belangrijke pagina's blokkeren.