Gerador de Robots.txt
Crie arquivos robots.txt para mecanismos de busca
Regras dos rastreadores
Escolha um modelo inicial e ajuste o acesso dos rastreadores e as exceções de caminhos.
Grupos de regras
Grupo 1
Disallow · caminhos bloqueados
Allow · exceções
Seu robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Prévia atualizada. Revise suas regras antes de publicar.
Instalar no seu site
- Copie ou baixe o conteúdo gerado.
- Salve em um arquivo de texto UTF-8 chamado robots.txt.
- Envie para a raiz do host, protocolo e porta correspondentes.
- Acesse yoursite.com/robots.txt e confirme seu conteúdo.
- Revise o relatório de robots.txt no Search Console após a publicação.
Antes de publicar
- robots.txt controla o rastreamento. Uma URL bloqueada ainda pode aparecer nos resultados de pesquisa.
- Para usar noindex, permita que o rastreador busque a página e leia sua metatag ou o cabeçalho da resposta.
- Proteja páginas privadas e de homologação com autenticação; robots.txt pode ser lido publicamente.
- Mantenha rastreáveis os arquivos CSS e JavaScript necessários para renderizar suas páginas.
- Verifique cada modelo em relação à estrutura de URLs do seu site.
- Use user-agents específicos quando rastreadores diferentes precisarem de regras diferentes.
- Os caminhos diferenciam maiúsculas de minúsculas; * é um curinga e $ marca o fim da URL.
Disallow · caminhos bloqueados
Allow · exceções
Sobre o Gerador de Robots.txt
O Gerador de Robots.txt é uma ferramenta online gratuita que ajuda você a criar arquivos robots.txt corretamente formatados para o seu site. O arquivo robots.txt é um componente fundamental do SEO técnico, que informa aos rastreadores dos mecanismos de busca quais páginas ou diretórios eles podem ou não acessar. As regras de rastreamento podem reduzir as requisições a caminhos selecionados. URLs bloqueadas ainda podem aparecer nos resultados de busca, e áreas privadas precisam de autenticação, não do robots.txt.
Um site pode usar um arquivo robots.txt na raiz do seu host quando precisar de regras para rastreadores. Os sites também podem permitir o rastreamento sem esse arquivo. Este gerador oferece modelos comuns, vários grupos de user-agent e campos opcionais de sitemap e atraso; confira-os com os caminhos do seu próprio site.
Seja um blog, uma loja virtual, um site corporativo ou uma aplicação SaaS, o criador de robots.txt permite configurar as regras dos rastreadores visualmente, ver o arquivo gerado em tempo real e copiá-lo com um único clique. Não é preciso programar para editar as regras. O suporte às diretivas varia conforme o rastreador: o Google aceita User-agent, Allow, Disallow e Sitemap, enquanto os campos opcionais de atraso e Host legado podem ser ignorados.
Principais recursos
- Modelos rápidos para sites básicos, configurações restritivas, blogs WordPress e lojas virtuais
- Várias regras de rastreamento com suporte a diferentes user-agents (Googlebot, Bingbot, Yandex e outros)
- Configuração de caminhos Allow e Disallow, com entradas ilimitadas por regra
- Campo de referência da URL do sitemap para facilitar a descoberta pelos mecanismos de busca
- Configuração de Crawl-delay para bots que o respeitam (Bing e Yandex respeitam; o Google ignora)
- Linha Host legada opcional para configurações antigas do Yandex (não é mais usada pelo Yandex desde 2018; use um redirecionamento 301 para a canonização do domínio)
- Pré-visualização em tempo real do arquivo robots.txt gerado
- Cópia para a área de transferência com um clique, para publicação rápida
- Instruções de instalação passo a passo incluídas
- Compatível com os rastreadores do Google, Bing, Yandex, Baidu e DuckDuckGo
Como usar
- Escolha um modelo: selecione um modelo rápido (Básico, Restritivo, Blog WordPress ou Loja virtual) para preencher regras comuns, ou comece do zero.
- Configure as regras dos rastreadores: defina o user-agent, adicione caminhos Disallow para os diretórios que quer bloquear e caminhos Allow para as exceções.
- Defina as opções globais: informe a URL do sitemap e, se necessário, um atraso de rastreamento na seção Configurações globais.
- Visualize o resultado: confira o arquivo robots.txt gerado no painel de pré-visualização em tempo real, à direita.
- Copie e publique: clique no botão Copiar para copiar o conteúdo do arquivo e salve-o como "robots.txt" no diretório raiz do seu site.
- Teste e valide: depois de enviá-lo, confira o relatório do robots.txt no Google Search Console (Configurações) para confirmar que o Google buscou e interpretou o seu arquivo.
Casos de uso
- Otimização do orçamento de rastreamento: bloqueie páginas de pouco valor, como painéis de administração, resultados de busca e arquivos de tags, para concentrar a atenção dos rastreadores no conteúdo importante.
- Prevenção de conteúdo duplicado: bloqueie o acesso a páginas paginadas, visualizações filtradas e URLs com muitos parâmetros que geram conteúdo duplicado.
- Controle da carga do servidor: defina um atraso de rastreamento para desacelerar os bots que o respeitam, como o Bingbot e o YandexBot (o Googlebot ignora o Crawl-delay).
- Proteção de sites de homologação: use autenticação para restringir o acesso a ambientes de desenvolvimento ou homologação. Somente o robots.txt não impede que as URLs deles sejam indexadas.
- Otimização para WordPress: bloqueie o wp-admin e os resultados da busca interna, mantendo admin-ajax.php, temas e uploads rastreáveis para que as páginas sejam renderizadas e as imagens possam ser indexadas.
- Ajustes para lojas virtuais: impeça o rastreamento do carrinho, do checkout, da conta e de endpoints de API, permitindo as páginas de produtos e de categorias.
Perguntas frequentes
Esta ferramenta é gratuita?
Sim, o Gerador de Robots.txt é totalmente gratuito, sem cadastro nem limites de uso. Gere e copie quantos arquivos precisar.
Meus dados estão seguros?
Toda a configuração acontece no seu navegador. Nenhum dado é enviado a servidor algum. O conteúdo do robots.txt é gerado inteiramente no lado do cliente.
Onde devo colocar o arquivo robots.txt?
O arquivo robots.txt deve ficar no diretório raiz do seu site. Por exemplo, ele deve estar acessível em https://yourdomain.com/robots.txt para que os mecanismos de busca o encontrem.
O robots.txt pode impedir que páginas sejam indexadas?
Uma URL bloqueada ainda pode aparecer nos resultados de busca. Para impedir a indexação com noindex, deixe o rastreador buscar a página e ler a meta tag ou o cabeçalho de resposta X-Robots-Tag. A autenticação pode proteger páginas privadas.
Devo bloquear arquivos CSS e JavaScript?
Não. O Google precisa acessar os arquivos CSS e JavaScript para renderizar suas páginas corretamente. Bloqueá-los pode prejudicar o seu SEO, porque o Google não consegue avaliar direito o layout e o conteúdo da página.
O robots.txt é uma medida de segurança?
Não. O arquivo robots.txt é acessível publicamente e serve apenas como uma sugestão para rastreadores bem-comportados. Nunca confie nele para proteger informações sensíveis. Use autenticação e controles de acesso no servidor.
Dicas e boas práticas
- Sempre inclua seu sitemap: adicionar uma diretiva Sitemap ajuda os mecanismos de busca a descobrir mais rápido todas as suas páginas importantes.
- Teste após a publicação: use o relatório do robots.txt no Google Search Console e a ferramenta de Inspeção de URL para confirmar que páginas importantes não foram bloqueadas por engano.
- Seja específico nos caminhos: use caminhos de diretório precisos em vez de padrões amplos para evitar bloquear conteúdo valioso por acidente.
- Use user-agents específicos: se você precisa de regras diferentes para o Google e o Bing, crie blocos de regras separados com nomes de user-agent específicos.
- Revise com regularidade: atualize o robots.txt sempre que adicionar novas seções, mudar a estrutura de URLs ou migrar seu site.
- Evite curingas sem cuidado: o curinga * e o marcador de fim de URL $ são poderosos, mas podem bloquear páginas importantes sem querer se forem usados incorretamente.