Kostenloser Robots.txt-Tester
Prüfen Sie, ob ein Crawler einen Pfad abrufen darf. Lesen Sie die veröffentlichte robots.txt und testen Sie die URL anhand der passenden User-Agent-Gruppe.
So verwenden Sie Robots.txt-Tester
- Geben Sie die Seiten-URL und den Crawler-Namen ein.
- Starten Sie den Test, um die robots.txt der Website abzurufen.
- Prüfen Sie die passende Regel, die Entscheidung und die Sitemap-Angaben.
Ihren Bericht verstehen
Der Tester berücksichtigt passende User-Agent-Gruppen, Platzhalterregeln und den längsten passenden Pfad. Bei gleicher Länge hat eine Allow-Regel Vorrang. Das Ergebnis beschreibt die Crawling-Berechtigung für diese URL. Die eigenen Meta-Robots-Angaben und HTTP-Header der Seite enthalten davon getrennte Indexierungsanweisungen.
Häufig gestellte Fragen
Bestimmt die robots.txt, ob eine Seite indexiert wird?
Robots.txt steuert das Crawling. Nutzen Sie den Website-SEO-Check, um Indexierungsanweisungen in einer Seitenantwort zu untersuchen.
Was passiert, wenn es keine robots.txt gibt?
Eine robots.txt-Antwort mit 404 oder 410 wird als fehlende veröffentlichte Crawling-Beschränkung behandelt. Serverfehler werden als nicht eindeutig angezeigt.