À quoi sert robots.txt
C’est un petit fichier texte à `yoursite.com/robots.txt` qui indique aux robots d’indexation quelles parties du site ils peuvent accéder. C’est une consigne pour les bots bien élevés, pas une mesure de sécurité — il ne cache pas les pages, il demande seulement de ne pas les crawler.
Le générer
- Utilisez le Générateur Robots.txt pour construire les règles et copier le fichier.
- Placez-le à la racine du site pour qu’il soit joignable à `/robots.txt`.
Bases de la syntaxe
- `User-agent: *` — s’applique à tous les robots.
- `Allow: /` — autorise le crawl de tout.
- `Disallow: /private/` — demande de ne pas crawler ce dossier.
- `Sitemap: https://yoursite.com/sitemap.xml` — pointe vers votre sitemap.
Associez-le à un sitemap
robots.txt dit ce qu’il ne faut *pas* crawler ; un sitemap liste ce que vous *voulez* crawler. Créez-en un avec le Générateur de sitemaps et référencez-le depuis robots.txt.
Avertissement
N’écrivez pas par erreur `Disallow: /` pour tout le site — cela bloque tout crawl et vous retire de la recherche.
Confidentialité
Le fichier est généré dans votre navigateur.