O que é um gerador de robots.txt?
Um gerador de robots.txt cria um arquivo de texto que orienta crawlers participantes sobre quais caminhos podem rastrear no seu site. O arquivo é publicado na raiz de um domínio, como example.com/robots.txt. Pode conter grupos para um ou mais user-agents, regras allow ou disallow, um valor opcional de crawl-delay e a localização do sitemap. Esta ferramenta prepara o texto localmente para você revisar antes de publicar.
Monte um arquivo robots.txt
- Digite um asterisco para aplicar regras a todos os crawlers, ou adicione nomes de user-agent específicos.
- Adicione caminhos allow ou disallow começando com barra.
- Opcionalmente inclua um crawl-delay e a URL completa do sitemap.
- Gere o arquivo e depois copie ou baixe o robots.txt.
Se a lista de regras ficar vazia, este gerador escreve uma regra allow para o site inteiro. Adicione uma regra disallow só para caminhos que você quer impedir de propósito. Uma regra de caminho é instrução de rastreamento, não controle de segurança. Páginas e arquivos sensíveis ainda precisam de autenticação, autorização ou outra proteção.
Entenda regras allow e disallow
Uma regra Allow indica que um crawler pode acessar um caminho correspondente, enquanto Disallow indica que deve evitar rastreá-lo. Crawlers diferentes podem ter suporte distinto a sintaxe avançada de robots, então regras de caminho simples são o ponto de partida mais seguro. Se várias regras se sobrepõem, o comportamento pode depender da correspondência mais específica e da implementação do crawler.
Use uma barra no início de cada caminho. Por exemplo, /admin/ aponta para essa pasta, e /search? pode apontar para padrões de URL conforme o suporte do crawler. Revise cada linha após gerar. Uma regra ampla demais pode impedir por acidente o acesso a páginas importantes, folhas de estilo ou conteúdo necessário para entender o site.
Sitemap e crawl-delay
A linha Sitemap dá aos crawlers a URL absoluta do seu sitemap XML. É útil mesmo se você também enviar o sitemap por um console de busca. Crawl-delay é suportado por alguns crawlers, mas não por todos, e o significado exato pode variar. Use com cautela; um atraso alto pode atrasar o rastreamento e a descoberta de páginas novas ou atualizadas.
Publique com cuidado
Envie o arquivo final para a raiz do domínio correto e teste após o deploy. Um robots.txt não garante que uma URL nunca apareça nos resultados de busca, especialmente se outras páginas linkarem para ela. Use uma diretiva noindex ou controles de acesso quando esse for o objetivo real. O gerador não publica nem testa seu arquivo ao vivo, então verifique com o hosting e ferramentas de crawler.