¿Qué es un generador de robots.txt?
Un generador de robots.txt crea un archivo de texto que orienta a los rastreadores web participantes sobre qué rutas pueden rastrear en tu sitio. El archivo se publica en la raíz de un dominio, como example.com/robots.txt. Puede contener grupos para uno o más user-agents, reglas allow o disallow, un valor opcional de crawl-delay y la ubicación del sitemap. Esta herramienta prepara el texto localmente para que lo revises antes de publicarlo.
Crea un archivo robots.txt
- Introduce un asterisco para aplicar reglas a todos los rastreadores, o añade nombres de user-agent concretos.
- Añade rutas allow o disallow que empiecen por barra inclinada.
- Opcionalmente incluye un crawl-delay y la URL completa del sitemap.
- Genera el archivo y luego copia o descarga robots.txt.
Si dejas la lista de reglas vacía, este generador escribe una regla allow para todo el sitio. Añade una regla disallow solo para rutas a las que quieras impedir el acceso de rastreadores a propósito. Una regla de ruta es una instrucción de rastreo, no un control de seguridad. Las páginas y archivos sensibles siguen necesitando autenticación, autorización u otra protección.
Entiende las reglas allow y disallow
Una regla Allow indica que un rastreador puede acceder a una ruta coincidente, mientras que Disallow indica que debería evitar rastrearla. Distintos rastreadores pueden tener distinto soporte para sintaxis avanzada de robots, así que las reglas de ruta simples son el punto de partida más seguro. Si varias reglas se solapan, el comportamiento puede depender de la coincidencia más específica y de la implementación del rastreador.
Usa una barra al inicio de cada ruta. Por ejemplo, /admin/ apunta a esa carpeta, y /search? puede apuntar a patrones de URL según el soporte del rastreador. Revisa cada línea tras generarla. Una regla demasiado amplia puede impedir por accidente el acceso a páginas importantes, hojas de estilo o contenido necesario para entender tu sitio.
Sitemap y crawl-delay
La línea Sitemap indica a los rastreadores la URL absoluta de tu sitemap XML. Es útil aunque también envíes el sitemap por una consola de buscadores. Crawl-delay lo soportan algunos rastreadores pero no todos, y su significado exacto puede variar. Úsalo con cautela; un retraso alto puede ralentizar el rastreo y el descubrimiento de páginas nuevas o actualizadas.
Publica con cuidado
Sube el archivo terminado a la raíz del dominio correcto y pruébalo tras el despliegue. Un robots.txt no garantiza que una URL nunca aparezca en resultados de búsqueda, sobre todo si otras páginas enlazan a ella. Usa una directiva noindex o controles de acceso cuando ese sea el objetivo real. El generador no publica ni prueba tu archivo en vivo, así que verifícalo con tu hosting y herramientas de rastreo.