SEO-Generatoren · Kostenloses Tool
Kostenloser Robots.txt-Generator
Erstellen Sie eine einfache robots.txt-Datei zum Prüfen und Herunterladen. Wählen Sie einen Crawler, ergänzen Sie Pfadregeln und geben Sie den Speicherort Ihrer Sitemap an.
100% kostenlosLäuft in Ihrem Browser
Geben Sie Ihre Daten ein oder probieren Sie ein Beispiel aus, um zu beginnen.
Erste Schritte
So verwenden Sie Robots.txt-Generator
- Legen Sie den User-Agent fest oder verwenden Sie * für alle Crawler.
- Geben Sie pro Zeile einen erlaubten oder gesperrten Pfad ein.
- Laden Sie die Datei herunter und veröffentlichen Sie sie unter der /robots.txt-URL Ihrer Domain.
Ergebnisse praktisch nutzen
Ihren Bericht verstehen
Robots-Regeln sollten die Bereiche einer Website beschreiben, die Crawler abrufen dürfen. Der Generator validiert die Pfadformatierung und gibt eine reine Textdatei aus. Prüfen Sie nach der Veröffentlichung wichtige Seiten-URLs mit dem Robots.txt-Tester anhand der tatsächlich von Ihrer Website ausgelieferten Datei.
Noch etwas mehr Klarheit
Häufig gestellte Fragen
Wo muss die robots.txt gehostet werden?
Unter /robots.txt auf demselben Hostnamen und mit demselben Protokoll wie die Website, für die sie gelten soll.
Kann die robots.txt private Informationen schützen?
Nein. Schützen Sie private Seiten durch Authentifizierung. Robots-Regeln sind öffentliche Crawling-Anweisungen.