Was robots.txt tut
Es ist eine kleine Textdatei unter `yoursite.com/robots.txt`, die Suchmaschinen-Crawlern sagt, welche Teile der Site sie aufrufen dürfen. Das ist eine Richtlinie für wohlverhaltene Bots, keine Sicherheitsmaßnahme — Seiten werden nicht versteckt, nur nicht gecrawlt.
Erzeugen
- Nutzen Sie den Robots.txt-Generator, um Regeln zu bauen und die Datei zu kopieren.
- Laden Sie sie in den Root, damit sie unter `/robots.txt` erreichbar ist.
Syntax-Grundlagen
- `User-agent: *` — gilt für alle Crawler.
- `Allow: /` — erlaubt das Crawlen von allem.
- `Disallow: /private/` — bittet, diesen Ordner nicht zu crawlen.
- `Sitemap: https://yoursite.com/sitemap.xml` — verweist auf Ihre Sitemap.
Mit einer Sitemap kombinieren
robots.txt sagt, was *nicht* gecrawlt werden soll; eine Sitemap listet, was Sie *gecrawlt* haben wollen. Erstellen Sie eine mit dem Sitemap-Generator und verweisen Sie darauf in robots.txt.
Warnung
Setzen Sie nicht versehentlich `Disallow: /` für die ganze Site — das blockiert alles Crawling und entfernt Sie aus der Suche.
Privatsphäre
Die Datei wird in Ihrem Browser erzeugt.