Was ist ein robots.txt-Generator?
Ein robots.txt-Generator erstellt eine Textdatei, die teilnehmenden Webcrawlern Hinweise gibt, welche Pfade sie auf Ihrer Site crawlen dürfen. Die Datei wird an der Domain-Wurzel veröffentlicht, etwa example.com/robots.txt. Sie kann Gruppen für einen oder mehrere User-Agents, Allow- oder Disallow-Regeln, einen optionalen Crawl-Delay-Wert und den Sitemap-Standort enthalten. Dieses Tool bereitet den Text lokal vor, damit Sie ihn vor dem Veröffentlichen prüfen können.
Eine robots.txt erstellen
- Geben Sie ein Sternchen ein, um Regeln auf alle Crawler anzuwenden, oder fügen Sie konkrete User-Agent-Namen hinzu.
- Fügen Sie Allow- oder Disallow-Pfade hinzu, die mit einem Schrägstrich beginnen.
- Optional Crawl-Delay und vollständige Sitemap-URL einbeziehen.
- Datei erzeugen, dann robots.txt kopieren oder herunterladen.
Wenn die Regelliste leer bleibt, schreibt dieser Generator eine Allow-Regel für die gesamte Site. Fügen Sie eine Disallow-Regel nur für Pfade hinzu, die Sie bewusst von Crawlern fernhalten wollen. Eine Pfadregel ist eine Crawl-Anweisung, keine Sicherheitskontrolle. Sensible Seiten und Dateien brauchen weiterhin Authentifizierung, Autorisierung oder anderen Schutz.
Allow- und Disallow-Regeln verstehen
Eine Allow-Regel signalisiert, dass ein Crawler einen passenden Pfad zugreifen darf, während Disallow signalisiert, dass er ihn meiden sollte. Unterschiedliche Crawler unterstützen erweiterte Robots-Syntax unterschiedlich stark, daher sind einfache Pfadregeln der sicherste Einstieg. Überlappen mehrere Regeln, kann das Verhalten vom spezifischsten Match und der eigenen Implementierung des Crawlers abhängen.
Setzen Sie am Anfang jedes Pfads einen Schrägstrich. Zum Beispiel zielt /admin/ auf diesen Ordnerpfad, und /search? kann je nach Crawler-Unterstützung URL-Muster treffen. Prüfen Sie jede Zeile nach dem Erzeugen. Eine zu breite Regel kann versehentlich den Zugriff auf wichtige Seiten, Stylesheets oder Inhalte verhindern, die zum Verstehen Ihrer Site nötig sind.
Sitemap und Crawl-Delay
Die Sitemap-Zeile gibt Crawlern die absolute URL Ihrer XML-Sitemap. Sie ist nützlich, auch wenn Sie die Sitemap zusätzlich über eine Suchmaschinen-Konsole einreichen. Crawl-Delay unterstützen manche Crawler, aber nicht alle, und die genaue Bedeutung kann variieren. Nutzen Sie es vorsichtig; eine hohe Verzögerung kann Crawling und die Entdeckung neuer oder aktualisierter Seiten verlangsamen.
Sorgfältig veröffentlichen
Laden Sie die fertige Datei in die Wurzel der richtigen Domain und testen Sie sie nach dem Deployment. Eine robots.txt garantiert nicht, dass eine URL nie in Suchergebnissen erscheint — besonders wenn andere Seiten darauf verlinken. Nutzen Sie eine Noindex-Direktive oder Zugriffskontrollen, wenn das das eigentliche Ziel ist. Der Generator veröffentlicht oder testet Ihre Live-Datei nicht; prüfen Sie sie mit Ihrem Hosting und Crawler-Tools.