Générateur de Robots.txt
Créer des fichiers robots.txt pour les moteurs de recherche
Règles pour les robots d’exploration
Choisissez un modèle de départ, puis ajustez l’accès des robots d’exploration et les exceptions de chemins.
Groupes de règles
Groupe 1
Disallow · chemins bloqués
Allow · exceptions
Votre robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Aperçu mis à jour. Vérifiez vos règles avant de publier.
Installer sur votre site web
- Copiez ou téléchargez le contenu généré.
- Enregistrez-le dans un fichier texte UTF-8 nommé robots.txt.
- Envoyez-le à la racine correspondant à l’hôte, au protocole et au port concernés.
- Consultez yoursite.com/robots.txt et vérifiez son contenu.
- Consultez le rapport robots.txt dans Search Console après la publication.
Avant de publier
- robots.txt contrôle l’exploration. Une URL bloquée peut tout de même apparaître dans les résultats de recherche.
- Pour utiliser noindex, autorisez le robot d’exploration à récupérer la page et à lire sa balise meta ou son en-tête de réponse.
- Protégez les pages privées et de préproduction par une authentification ; robots.txt est accessible publiquement.
- Laissez les robots explorer le CSS et le JavaScript nécessaires au rendu de vos pages.
- Vérifiez chaque modèle par rapport à votre propre structure d’URL.
- Utilisez des user-agents spécifiques lorsque différents robots d’exploration ont besoin de règles différentes.
- Les chemins sont sensibles à la casse ; * est un caractère générique et $ marque la fin de l’URL.
Disallow · chemins bloqués
Allow · exceptions
À propos du générateur de Robots.txt
Le générateur de Robots.txt est un outil en ligne gratuit qui vous aide à créer des fichiers robots.txt correctement formatés pour votre site web. Le fichier robots.txt est un élément fondamental du SEO technique : il indique aux robots d’exploration des moteurs de recherche quelles pages ou quels répertoires ils peuvent ou ne peuvent pas explorer. Les règles d’exploration peuvent réduire les requêtes vers certains chemins. Les URL bloquées peuvent quand même apparaître dans les résultats de recherche, et les zones privées nécessitent une authentification plutôt qu’un fichier robots.txt.
Un site web peut utiliser un fichier robots.txt à la racine de son hôte lorsque des règles d’exploration sont nécessaires. Les sites peuvent aussi autoriser l’exploration sans ce fichier. Ce générateur propose des modèles courants, plusieurs groupes d’user-agents et des champs facultatifs pour le sitemap et le délai ; vérifiez-les par rapport aux chemins propres à votre site.
Que vous gériez un blog, une boutique en ligne, un site d’entreprise ou une application SaaS, le créateur de robots.txt vous permet de configurer visuellement les règles d’exploration, de prévisualiser le fichier généré en temps réel et de le copier en un seul clic. Aucune programmation n’est nécessaire pour modifier les règles. La prise en charge des directives varie selon le robot : Google prend en charge User-agent, Allow, Disallow et Sitemap, tandis que le délai facultatif et l’ancienne ligne Host peuvent être ignorés.
Fonctionnalités principales
- Modèles rapides pour les sites web simples, les configurations restrictives, les blogs WordPress et les boutiques en ligne
- Plusieurs règles d’exploration avec prise en charge de différents user-agents (Googlebot, Bingbot, Yandex et autres)
- Configuration des chemins Allow et Disallow avec un nombre d’entrées illimité par règle
- Champ de référence de l’URL du sitemap pour améliorer la découverte par les moteurs de recherche
- Réglage du Crawl-delay pour les robots qui le respectent (Bing et Yandex le font ; Google l’ignore)
- Ligne Host héritée facultative pour d’anciennes configurations Yandex (n’est plus utilisée par Yandex depuis 2018 ; utilisez une redirection 301 pour la canonicalisation du domaine)
- Aperçu en temps réel du fichier robots.txt généré
- Copie dans le presse-papiers en un clic pour un déploiement rapide
- Instructions d’installation pas à pas incluses
- Compatible avec les robots de Google, Bing, Yandex, Baidu et DuckDuckGo
Mode d’emploi
- Choisissez un modèle : sélectionnez un modèle rapide (Basique, Restrictif, Blog WordPress ou E-commerce) pour préremplir les règles courantes, ou partez de zéro.
- Configurez les règles d’exploration : définissez le user-agent, ajoutez des chemins Disallow pour les répertoires à bloquer et des chemins Allow pour les exceptions.
- Définissez les options globales : saisissez l’URL de votre sitemap et, si nécessaire, un délai d’exploration dans la section Paramètres globaux.
- Prévisualisez le résultat : examinez le fichier robots.txt généré dans le panneau d’aperçu en temps réel à droite.
- Copiez et déployez : cliquez sur le bouton Copier pour copier le contenu du fichier, puis enregistrez-le sous le nom « robots.txt » dans le répertoire racine de votre site web.
- Testez et validez : après la mise en ligne, consultez le rapport robots.txt dans Google Search Console (Paramètres) pour confirmer que Google a récupéré et analysé votre fichier.
Cas d’usage
- Optimisation du budget d’exploration : bloquez les pages à faible valeur comme les panneaux d’administration, les résultats de recherche et les archives de tags pour concentrer l’attention des robots sur le contenu important.
- Prévention du contenu dupliqué : interdisez l’accès aux pages paginées, aux vues filtrées et aux URL chargées de paramètres qui créent du contenu dupliqué.
- Gestion de la charge du serveur : définissez un délai d’exploration pour ralentir les robots qui le respectent, comme Bingbot et YandexBot (Googlebot ignore Crawl-delay).
- Protection d’un site de préproduction : utilisez une authentification pour restreindre l’accès aux environnements de développement ou de préproduction. Le fichier robots.txt seul n’empêche pas l’indexation de leurs URL.
- Optimisation de WordPress : bloquez wp-admin et les résultats de recherche internes tout en laissant admin-ajax.php, les thèmes et les fichiers téléversés explorables afin que les pages s’affichent correctement et que les images puissent être indexées.
- Réglage d’une boutique en ligne : empêchez l’exploration du panier, de la validation de commande, du compte client et des points d’accès API tout en autorisant les pages de produits et de catégories.
Questions fréquentes
Cet outil est-il gratuit ?
Oui, le générateur de Robots.txt est entièrement gratuit, sans inscription ni limite d’utilisation. Générez et copiez autant de fichiers que nécessaire.
Mes données sont-elles en sécurité ?
Toute la configuration se fait dans votre navigateur. Aucune donnée n’est envoyée à un serveur. Le contenu du robots.txt est généré entièrement côté client.
Où placer le fichier robots.txt ?
Le fichier robots.txt doit être placé dans le répertoire racine de votre site web. Par exemple, il doit être accessible à l’adresse https://yourdomain.com/robots.txt pour que les moteurs de recherche le trouvent.
Le fichier robots.txt peut-il empêcher l’indexation de pages ?
Une URL bloquée peut quand même apparaître dans les résultats de recherche. Pour empêcher l’indexation avec noindex, laissez le robot récupérer la page et lire la balise meta ou l’en-tête de réponse X-Robots-Tag. Une authentification peut protéger les pages privées.
Dois-je bloquer les fichiers CSS et JavaScript ?
Non. Google a besoin d’accéder aux fichiers CSS et JavaScript pour afficher correctement vos pages. Les bloquer peut nuire à votre SEO, car Google ne peut pas évaluer correctement la mise en page et le contenu de votre page.
Le fichier robots.txt est-il une mesure de sécurité ?
Non. Le fichier robots.txt est accessible publiquement et ne sert que de consigne aux robots respectueux des règles. Ne comptez jamais sur lui pour protéger des informations sensibles. Utilisez plutôt une authentification et des contrôles d’accès côté serveur.
Astuces et bonnes pratiques
- Indiquez toujours votre sitemap : ajouter une directive Sitemap aide les moteurs de recherche à découvrir plus vite toutes vos pages importantes.
- Testez après le déploiement : utilisez le rapport robots.txt de Google Search Console et l’outil d’inspection d’URL pour vérifier que des pages importantes ne sont pas bloquées par erreur.
- Soyez précis sur les chemins : utilisez des chemins de répertoires exacts plutôt que des motifs larges pour éviter de bloquer par accident du contenu de valeur.
- Ciblez les user-agents : si vous avez besoin de règles différentes pour Google et Bing, créez des blocs de règles distincts avec des noms de user-agent précis.
- Relisez régulièrement : mettez à jour votre robots.txt chaque fois que vous ajoutez de nouvelles sections, modifiez la structure des URL ou migrez votre site web.
- Évitez les jokers inconsidérés : le joker * et le marqueur de fin d’URL $ sont puissants, mais ils peuvent bloquer involontairement des pages importantes s’ils sont mal utilisés.