Generatori SEO · Strumento gratuito
Generatore di robots.txt gratuito
Crea un semplice file robots.txt da esaminare e scaricare. Scegli un crawler, aggiungi regole per i percorsi e includi la posizione della sitemap.
100% gratuitoFunziona nel tuo browser
Aggiungi i tuoi dati o prova un esempio per iniziare.
Primi passi
Come usare Generatore di robots.txt
- Imposta lo user-agent o usa * per tutti i crawler.
- Inserisci un percorso consentito o non consentito per riga.
- Scarica il file e pubblicalo all'URL /robots.txt del tuo dominio.
Metti in pratica i risultati
Comprendi il tuo report
Le regole robots dovrebbero descrivere le parti del sito che i crawler possono richiedere. Il generatore convalida il formato dei percorsi e produce un file di testo semplice. Dopo la pubblicazione, usa il Tester robots.txt per verificare gli URL importanti rispetto al file effettivamente fornito dal sito web.
Un po' più di chiarezza
Domande frequenti
Dove deve essere ospitato robots.txt?
In /robots.txt sullo stesso nome host e protocollo del sito web a cui vuoi applicarlo.
Robots.txt può proteggere informazioni private?
No. Usa l'autenticazione per le pagine private. Le regole robots sono istruzioni pubbliche per la scansione.