Generador de Robots.txt
Cree archivos robots.txt para motores de búsqueda
Reglas para rastreadores
Elija una plantilla inicial y luego ajuste el acceso de los rastreadores y las excepciones de rutas.
Grupos de reglas
Grupo 1
Disallow · rutas bloqueadas
Allow · excepciones
Su robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Vista previa actualizada. Revise sus reglas antes de publicar.
Instalar en su sitio web
- Copie o descargue el contenido generado.
- Guárdelo en un archivo de texto UTF-8 llamado robots.txt.
- Súbalo a la raíz del host, protocolo y puerto correspondientes.
- Visite yoursite.com/robots.txt y confirme su contenido.
- Revise el informe de robots.txt en Search Console después de publicarlo.
Antes de publicar
- robots.txt controla el rastreo. Una URL bloqueada puede seguir apareciendo en los resultados de búsqueda.
- Para usar noindex, permita que el rastreador obtenga la página y lea su metaetiqueta o encabezado de respuesta.
- Proteja las páginas privadas y de pruebas con autenticación; robots.txt se puede leer públicamente.
- Mantenga rastreables los archivos CSS y JavaScript necesarios para renderizar sus páginas.
- Compruebe cada plantilla con la estructura de URL de su sitio.
- Use user-agents específicos cuando distintos rastreadores necesiten reglas diferentes.
- Las rutas distinguen mayúsculas y minúsculas; * es un comodín y $ marca el final de la URL.
Disallow · rutas bloqueadas
Allow · excepciones
Acerca del Generador de Robots.txt
El Generador de Robots.txt es una herramienta en línea gratuita que le ayuda a crear archivos robots.txt con el formato correcto para su sitio web. El archivo robots.txt es un componente fundamental del SEO técnico que indica a los rastreadores de los motores de búsqueda a qué páginas o directorios pueden o no acceder. Las reglas para rastreadores pueden reducir las solicitudes a rutas concretas. Las URL bloqueadas aún pueden aparecer en los resultados de búsqueda, y las áreas privadas requieren autenticación en lugar de robots.txt.
Un sitio web puede usar un archivo robots.txt en la raíz de su host cuando necesita reglas para rastreadores. Los sitios también pueden permitir el rastreo sin este archivo. Este generador ofrece plantillas habituales, varios grupos de user-agent y campos opcionales de sitemap y retraso; revíselos según las rutas propias de su sitio.
Tanto si administra un blog, una tienda en línea, un sitio corporativo o una aplicación SaaS, el creador de robots.txt le permite configurar las reglas de los rastreadores de forma visual, ver en tiempo real una vista previa del archivo generado y copiarlo con un solo clic. No se necesita programar para editar las reglas. La compatibilidad con las directivas varía según el rastreador: Google admite User-agent, Allow, Disallow y Sitemap, mientras que los campos opcionales de retraso y el campo Host heredado pueden ser ignorados.
Características principales
- Plantillas rápidas para sitios web básicos, configuraciones restrictivas, blogs de WordPress y tiendas en línea
- Varias reglas de rastreo con compatibilidad con distintos user-agents (Googlebot, Bingbot, Yandex y más)
- Configuración de rutas Allow y Disallow con entradas ilimitadas por regla
- Campo de referencia a la URL del sitemap para mejorar el descubrimiento en los motores de búsqueda
- Ajuste de Crawl-delay para los bots que lo respetan (Bing y Yandex lo hacen; Google lo ignora)
- Línea Host heredada opcional para configuraciones antiguas de Yandex (Yandex ya no la usa desde 2018; use una redirección 301 para la canonicalización del dominio)
- Vista previa en tiempo real del archivo robots.txt generado
- Copia al portapapeles con un clic para implementarlo rápidamente
- Instrucciones de instalación paso a paso incluidas
- Compatible con los rastreadores de Google, Bing, Yandex, Baidu y DuckDuckGo
Cómo usar
- Elija una plantilla: seleccione una plantilla rápida (Básica, Restrictiva, Blog de WordPress o Tienda en línea) para rellenar reglas habituales, o empiece desde cero.
- Configure las reglas de rastreo: defina el user-agent, agregue rutas Disallow para los directorios que desea bloquear y rutas Allow para las excepciones.
- Defina las opciones globales: ingrese la URL de su sitemap y, si es necesario, un retraso de rastreo en la sección Configuración global.
- Vea la salida: revise el archivo robots.txt generado en el panel de vista previa en tiempo real de la derecha.
- Copie e implemente: haga clic en el botón Copiar para copiar el contenido del archivo y luego guárdelo como «robots.txt» en el directorio raíz de su sitio web.
- Pruebe y valide: después de subirlo, revise el informe de robots.txt en Google Search Console (Configuración) para confirmar que Google obtuvo y analizó su archivo.
Casos de uso
- Optimización del presupuesto de rastreo: bloquee páginas de poco valor como paneles de administración, resultados de búsqueda y archivos de etiquetas para concentrar la atención de los rastreadores en el contenido importante.
- Prevención de contenido duplicado: impida el acceso a páginas paginadas, vistas filtradas y URL con muchos parámetros que generan contenido duplicado.
- Gestión de la carga del servidor: defina un retraso de rastreo para ralentizar los bots que lo respetan, como Bingbot y YandexBot (Googlebot ignora Crawl-delay).
- Protección de sitios de prueba: use autenticación para restringir el acceso a los entornos de desarrollo o de pruebas. robots.txt por sí solo no impide que sus URL se indexen.
- Optimización de WordPress: bloquee wp-admin y los resultados de búsqueda internos, pero mantenga rastreables admin-ajax.php, los temas y las cargas (uploads) para que las páginas se rendericen y las imágenes puedan indexarse.
- Ajuste para tiendas en línea: impida el rastreo del carrito, el pago, la cuenta y los endpoints de API, y permita las páginas de productos y categorías.
Preguntas frecuentes
¿Esta herramienta es gratuita?
Sí, el Generador de Robots.txt es totalmente gratuito, sin registro ni límites de uso. Genere y copie tantos archivos como necesite.
¿Mis datos están seguros?
Toda la configuración se realiza en su navegador. No se envía ningún dato a ningún servidor. El contenido de robots.txt se genera por completo en el lado del cliente.
¿Dónde debo colocar el archivo robots.txt?
El archivo robots.txt debe colocarse en el directorio raíz de su sitio web. Por ejemplo, debe ser accesible en https://yourdomain.com/robots.txt para que los motores de búsqueda lo encuentren.
¿Puede robots.txt impedir que se indexen páginas?
Una URL bloqueada aún puede aparecer en los resultados de búsqueda. Para impedir la indexación con noindex, deje que el rastreador obtenga la página y lea la metaetiqueta o el encabezado de respuesta X-Robots-Tag. La autenticación puede proteger las páginas privadas.
¿Debo bloquear los archivos CSS y JavaScript?
No. Google necesita acceder a los archivos CSS y JavaScript para renderizar correctamente sus páginas. Bloquearlos puede perjudicar su SEO, porque Google no puede evaluar bien el diseño y el contenido de su página.
¿Es robots.txt una medida de seguridad?
No. El archivo robots.txt es de acceso público y solo funciona como una sugerencia para los rastreadores que se comportan correctamente. Nunca confíe en él para proteger información sensible. Use en su lugar autenticación y controles de acceso en el servidor.
Consejos y buenas prácticas
- Incluya siempre su sitemap: agregar una directiva Sitemap ayuda a los motores de búsqueda a descubrir más rápido todas sus páginas importantes.
- Pruebe después de implementarlo: use el informe de robots.txt de Google Search Console y la herramienta de inspección de URL para confirmar que las páginas importantes no se bloquearon por accidente.
- Sea específico con las rutas: use rutas de directorio precisas en lugar de patrones amplios para evitar bloquear contenido valioso sin querer.
- Use user-agents específicos: si necesita reglas distintas para Google y Bing, cree bloques de reglas separados con nombres de user-agent concretos.
- Revíselo con regularidad: actualice su robots.txt cada vez que agregue secciones nuevas, cambie la estructura de las URL o migre su sitio web.
- Evite los comodines a la ligera: el comodín * y el marcador de fin de URL $ son potentes, pero pueden bloquear sin querer páginas importantes si se usan mal.