Generadores SEO · Herramienta gratuita
Generador de robots.txt gratuito
Crea un archivo robots.txt sencillo que puedas revisar y descargar. Elige un rastreador, añade reglas de rutas e incluye la ubicación de tu sitemap.
100% gratisSe ejecuta en tu navegador
Añade tus datos o prueba un ejemplo para empezar.
Primeros pasos
Cómo utilizar Generador de robots.txt
- Define el user-agent o utiliza * para todos los rastreadores.
- Introduce una ruta permitida o no permitida por línea.
- Descarga el archivo y publícalo en la URL /robots.txt de tu dominio.
Pon los resultados en práctica
Entiende tu informe
Las reglas de robots deben describir las partes de un sitio que pueden solicitar los rastreadores. El generador valida el formato de las rutas y genera un archivo de texto plano. Tras publicarlo, utiliza el Comprobador de robots.txt para comprobar las URL de páginas importantes frente al archivo que realmente sirve tu sitio web.
Un poco más de claridad
Preguntas frecuentes
¿Dónde debe alojarse robots.txt?
En /robots.txt, en el mismo nombre de host y protocolo que el sitio web al que quieras aplicarlo.
¿Puede robots.txt proteger información privada?
No. Utiliza autenticación para las páginas privadas. Las reglas de robots son instrucciones públicas de rastreo.