Testeur gratuit robots.txt
Vérifiez si un robot est autorisé à demander un chemin. Lisez le robots.txt publié et testez l’URL avec le groupe user-agent correspondant.
Comment utiliser Testeur robots.txt
- Saisissez l’URL de la page et le nom du robot.
- Lancez le test pour récupérer le robots.txt du site.
- Examinez la règle correspondante, la décision et les déclarations de sitemaps.
Comprendre votre rapport
Le testeur applique les groupes user-agent correspondants, les règles avec caractères génériques et le chemin correspondant le plus long. Une règle Allow prévaut en cas d’égalité de longueur. Le résultat décrit l’autorisation d’exploration de cette URL, tandis que les balises meta robots et les en-têtes HTTP de la page contrôlent séparément les instructions d’indexation.
Questions fréquentes
Le fichier robots.txt détermine-t-il si une page est indexée ?
Robots.txt contrôle l’exploration. Pour inspecter les directives d’indexation dans la réponse d’une page, utilisez l’outil d’audit SEO de site.
Et si le fichier robots.txt est absent ?
Une réponse robots.txt 404 ou 410 est interprétée comme une absence de restrictions d’exploration publiées. Les erreurs serveur sont affichées comme non concluantes.