Générateurs SEO · Outil gratuit
Générateur gratuit robots.txt
Créez un fichier robots.txt simple à examiner et télécharger. Choisissez un robot, ajoutez des règles de chemins et indiquez l’emplacement de votre sitemap.
100% gratuitExécuté dans votre navigateur
Ajoutez vos informations ou essayez un exemple pour commencer.
Bien démarrer
Comment utiliser Générateur robots.txt
- Définissez le user-agent ou utilisez * pour tous les robots.
- Saisissez un chemin autorisé ou interdit par ligne.
- Téléchargez le fichier et publiez-le à l’URL /robots.txt de votre domaine.
Exploitez les résultats
Comprendre votre rapport
Les règles robots doivent décrire les parties du site que les robots peuvent demander. Le générateur valide le format des chemins et produit un fichier texte brut. Après publication, utilisez le testeur robots.txt pour vérifier les URL importantes selon le fichier réellement servi par votre site.
Quelques précisions
Questions fréquentes
Où le fichier robots.txt doit-il être hébergé ?
À /robots.txt sur le même nom d’hôte et avec le même protocole que le site auquel il doit s’appliquer.
Le fichier robots.txt peut-il protéger les informations privées ?
Non. Utilisez une authentification pour les pages privées. Les règles robots sont des instructions publiques d’exploration.