Comprobador de robots.txt gratuito
Comprueba si un rastreador tiene permiso para solicitar una ruta. Lee el robots.txt publicado y prueba la URL frente al grupo de user-agent correspondiente.
Cómo utilizar Comprobador de robots.txt
- Introduce la URL de la página y el nombre del rastreador.
- Ejecuta la prueba para obtener el robots.txt del sitio.
- Revisa la regla coincidente, la decisión y las declaraciones de sitemaps.
Entiende tu informe
El comprobador aplica los grupos de user-agent coincidentes, las reglas con comodines y la ruta coincidente más larga. Una regla Allow prevalece si hay un empate de longitud. El resultado describe el permiso de rastreo de esta URL, mientras que los meta robots y las cabeceras HTTP de la propia página controlan instrucciones de indexación independientes.
Preguntas frecuentes
¿Controla robots.txt si se indexa una página?
Robots.txt controla el rastreo. Para inspeccionar las directivas de indexación de la respuesta de una página, utiliza el Comprobador SEO de sitios web.
¿Qué ocurre si no hay robots.txt?
Una respuesta 404 o 410 de robots.txt se interpreta como ausencia de restricciones de rastreo publicadas. Los errores del servidor se muestran como no concluyentes.