Probador de robots.txt
Comprueba si una ruta está permitida o bloqueada por tus reglas de robots.
Espacio de trabajo · Probador de robots.txt
Prueba Googlebot, Bingbot o *.
Coincide con Disallow: /admin/ (línea 2).
| Tipo | Patrón | Línea |
|---|---|---|
| Disallow | /admin/ | 2 |
| Allow | /admin/public/ | 3 |
| Disallow | /*.pdf$ | 4 |
La comprobación se hace sobre el texto que pegas. No se descarga el robots.txt publicado.
Cómo se usa
Pega el HTML, las cabeceras, la URL o los datos que quieras revisar.
Consulta los avisos y el resultado; la comprobación se hace en tu navegador.
Copia el informe o el código generado para aplicarlo donde lo necesites.
Ejemplos
Bloquear administración
Disallow: /admin/ bloquea /admin/privado y cualquier ruta que empiece igual.
Excepción pública
Allow: /admin/public/ permite esa ruta aunque el resto de /admin/ esté bloqueado.
Lo que conviene saber
El probador interpreta los grupos de User-agent, las reglas Allow y Disallow, los comodines * y el ancla $, y aplica la regla más específica que coincide con la ruta. También muestra los Sitemap declarados.
Es una simulación local del comportamiento habitual. Los buscadores pueden tener particularidades y el archivo que esté publicado puede ser distinto del que pegas aquí.
Preguntas frecuentes
Herramientas relacionadas
Otras herramientas que pueden servirte para tareas similares.
Analizador de sitemap XML
Cuenta URLs, detecta duplicados, enlaces inválidos y errores básicos del sitemap.
Analizador SEO de HTML
Audita título, descripción, encabezados, imágenes, enlaces y datos estructurados.
Analizador de redirecciones
Revisa una cadena de redirecciones y detecta bucles, saltos y destinos finales.