Tester robots.txt gratuito
Verifica se un crawler può richiedere un percorso. Leggi il robots.txt pubblicato e verifica l'URL rispetto al gruppo user-agent corrispondente.
Come usare Tester robots.txt
- Inserisci URL della pagina e nome del crawler.
- Esegui il test per recuperare il robots.txt del sito.
- Esamina la regola corrispondente, la decisione e le dichiarazioni delle sitemap.
Comprendi il tuo report
Il tester applica i gruppi user-agent corrispondenti, le regole con caratteri jolly e il percorso corrispondente più lungo. Una regola Allow prevale in caso di parità di lunghezza. Il risultato descrive il permesso di scansione per questo URL, mentre i meta robots e le intestazioni HTTP della pagina controllano istruzioni di indicizzazione separate.
Domande frequenti
Robots.txt controlla se una pagina viene indicizzata?
Robots.txt controlla la scansione. Per esaminare le direttive di indicizzazione nella risposta di una pagina, usa lo Strumento di verifica SEO del sito.
E se robots.txt non esiste?
Una risposta 404 o 410 per robots.txt viene interpretata come assenza di restrizioni di scansione pubblicate. Gli errori del server vengono mostrati come non conclusivi.