Robots.txt-generator
Skapa robots.txt-filer för sökmotorer
Regler för sökrobotar
Välj en startmall och justera sedan sökrobotarnas åtkomst och undantag för sökvägar.
Reglergrupper
Grupp 1
Disallow · blockerade sökvägar
Allow · undantag
Din robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Förhandsvisningen är uppdaterad. Gå igenom reglerna innan du publicerar.
Installera på din webbplats
- Kopiera eller ladda ner det genererade innehållet.
- Spara det i en UTF-8-textfil med namnet robots.txt.
- Ladda upp den till roten för motsvarande värd, protokoll och port.
- Besök dinwebbplats.se/robots.txt och bekräfta innehållet.
- Granska robots.txt-rapporten i Search Console efter publiceringen.
Innan du publicerar
- robots.txt styr genomsökning. En blockerad URL kan ändå visas i sökresultaten.
- För att använda noindex måste sökroboten få hämta sidan och läsa dess metatagg eller svarshuvud.
- Skydda privata sidor och testmiljöer med autentisering, eftersom robots.txt är offentligt läsbar.
- Låt CSS och JavaScript som krävs för att rendera dina sidor vara åtkomliga för sökrobotar.
- Kontrollera varje mall mot din egen URL-struktur.
- Använd specifika user-agents när olika sökrobotar behöver olika regler.
- Sökvägar är skiftlägeskänsliga, * är ett jokertecken och $ markerar slutet på URL:en.
Disallow · blockerade sökvägar
Allow · undantag
Om Robots.txt-generatorn
Den här Robots.txt-generatorn är ett kostnadsfritt onlineverktyg som hjälper dig att skapa korrekt formaterade robots.txt-filer för din webbplats. Filen robots.txt är en grundläggande del av teknisk SEO och talar om för sökmotorernas sökrobotar vilka sidor eller kataloger de får eller inte får komma åt. Regler för sökrobotar kan minska antalet förfrågningar till valda sökvägar. Blockerade URL:er kan ändå visas i sökresultaten, och privata områden kräver autentisering, inte robots.txt.
En webbplats kan använda en robots.txt-fil i roten av sin värd när regler för sökrobotar behövs. Webbplatser kan också tillåta genomsökning utan den här filen. Generatorn erbjuder vanliga mallar, flera user-agent-grupper och valfria fält för webbplatskarta och fördröjning, granska dem mot din webbplats egna sökvägar.
Oavsett om du driver en blogg, en webbutik, en företagswebbplats eller en SaaS-applikation låter robots.txt-skaparen dig konfigurera regler för sökrobotar visuellt, förhandsvisa den genererade filen i realtid och kopiera den med ett enda klick. Du behöver inte kunna koda för att redigera reglerna. Stödet för direktiv varierar mellan sökrobotar: Google stöder User-agent, Allow, Disallow och Sitemap, medan valfria fördröjnings- och äldre Host-fält kan ignoreras.
Viktiga funktioner
- Snabbmallar för enkla webbplatser, restriktiva upplägg, WordPress-bloggar och webbutiker
- Flera regler för sökrobotar med stöd för olika user-agents (Googlebot, Bingbot, Yandex med flera)
- Konfiguration av Allow- och Disallow-sökvägar med obegränsat antal poster per regel
- Fält för URL till webbplatskarta för bättre upptäckt i sökmotorer
- Crawl-delay-inställning för robotar som följer den (Bing och Yandex gör det, Google ignorerar den)
- Valfri äldre Host-rad för äldre Yandex-upplägg (används inte längre av Yandex sedan 2018, använd en 301-omdirigering för domänkanonisering)
- Förhandsvisning av den genererade robots.txt-filen i realtid
- Kopiera till urklipp med ett klick för snabb driftsättning
- Steg-för-steg-instruktioner för installation ingår
- Kompatibel med sökrobotar från Google, Bing, Yandex, Baidu och DuckDuckGo
Så använder du
- Välj en mall: Välj en snabbmall (Grundläggande, Restriktiv, WordPress-blogg eller Webbutik) för att fylla i vanliga regler i förväg, eller börja från noll.
- Konfigurera regler för sökrobotar: Ange user-agent, lägg till Disallow-sökvägar för kataloger du vill blockera och Allow-sökvägar för undantag.
- Ange globala alternativ: Ange URL:en till din webbplatskarta och vid behov en crawl-delay under Globala inställningar.
- Förhandsvisa resultatet: Granska den genererade robots.txt-filen i förhandsvisningspanelen till höger, som uppdateras i realtid.
- Kopiera och publicera: Klicka på knappen Kopiera för att kopiera filens innehåll och spara den sedan som "robots.txt" i webbplatsens rotkatalog.
- Testa och validera: Efter uppladdningen kontrollerar du robots.txt-rapporten i Google Search Console (Inställningar) för att bekräfta att Google har hämtat och tolkat din fil.
Användningsområden
- Optimering av genomsökningsbudget: Blockera sidor med lågt värde som adminpaneler, sökresultat och taggarkiv för att rikta sökrobotarnas uppmärksamhet mot viktigt innehåll.
- Förebyggande av duplicerat innehåll: Neka åtkomst till sidnumrerade sidor, filtrerade vyer och URL:er med många parametrar som skapar duplicerat innehåll.
- Hantering av serverbelastning: Ange en crawl-delay för att bromsa robotar som följer den, som Bingbot och YandexBot (Googlebot ignorerar Crawl-delay).
- Skydd av stagingsajter: Använd autentisering för att begränsa åtkomsten till utvecklings- eller stagingmiljöer. Enbart robots.txt hindrar inte att deras URL:er indexeras.
- WordPress-optimering: Blockera wp-admin och interna sökresultat men låt admin-ajax.php, teman och uppladdningar vara genomsökbara så att sidor renderas och bilder kan indexeras.
- Finjustering för webbutiker: Förhindra genomsökning av varukorg, kassa, konto och API-slutpunkter, men tillåt produkt- och kategorisidor.
Vanliga frågor
Är verktyget gratis?
Ja, Robots.txt-generatorn är helt gratis, utan registrering och utan användningsgränser. Skapa och kopiera så många filer du behöver.
Är mina data säkra?
All konfiguration sker i din webbläsare. Inga data skickas till någon server. Innehållet i robots.txt genereras helt på klientsidan.
Var ska jag placera robots.txt-filen?
Filen robots.txt måste placeras i webbplatsens rotkatalog. Den ska till exempel vara åtkomlig på https://yourdomain.com/robots.txt för att sökmotorer ska hitta den.
Kan robots.txt hindra sidor från att indexeras?
En blockerad URL kan ändå visas i sökresultaten. För att förhindra indexering med noindex måste sökroboten kunna hämta sidan och läsa metataggen eller svarshuvudet X-Robots-Tag. Autentisering kan skydda privata sidor.
Ska jag blockera CSS- och JavaScript-filer?
Nej. Google behöver åtkomst till CSS- och JavaScript-filer för att rendera dina sidor korrekt. Att blockera dem kan skada din SEO eftersom Google då inte kan bedöma sidans layout och innehåll på rätt sätt.
Är robots.txt en säkerhetsåtgärd?
Nej. Filen robots.txt är offentligt åtkomlig och fungerar bara som en rekommendation till välartade sökrobotar. Lita aldrig på den för att skydda känslig information. Använd serverbaserad autentisering och åtkomstkontroller i stället.
Tips och bästa praxis
- Ta alltid med din webbplatskarta: Ett Sitemap-direktiv hjälper sökmotorer att hitta alla dina viktiga sidor snabbare.
- Testa efter publiceringen: Använd robots.txt-rapporten i Google Search Console och verktyget URL-granskning för att bekräfta att viktiga sidor inte blockeras av misstag.
- Var specifik med sökvägarna: Använd exakta katalogsökvägar i stället för breda mönster för att undvika att värdefullt innehåll blockeras av misstag.
- Använd riktade user-agents: Om du behöver olika regler för Google och Bing skapar du separata regelblock med specifika user-agent-namn.
- Granska regelbundet: Uppdatera din robots.txt varje gång du lägger till nya avsnitt, ändrar URL-struktur eller flyttar din webbplats.
- Undvik slarvig användning av jokertecken: Jokertecknet * och URL-slutmarkören $ är kraftfulla men kan oavsiktligt blockera viktiga sidor om de används fel.