Probador de Robots.txt

Probador de Robots.txt - Validar Reglas de Rastreo

Potente herramienta de prueba y validación de robots.txt que te ayuda a verificar si URLs específicas están permitidas o bloqueadas por reglas robots.txt para diferentes rastreadores de motores de búsqueda. Prueba Google, Bing, Yahoo y user-agents personalizados para asegurar que tu archivo robots.txt funcione correctamente. Esencial para optimización SEO y gestión de rastreo web.

¿Qué es robots.txt?

Robots.txt es un archivo de texto ubicado en el directorio raíz de un sitio web (ej: example.com/robots.txt) que indica a los rastreadores de motores de búsqueda qué páginas o secciones del sitio pueden o no pueden acceder. Utiliza directivas simples:

- User-agent: Especifica a qué rastreador se aplican las reglas (* significa todos)
- Disallow: Indica a los rastreadores que no accedan a rutas específicas
- Allow: Permite explícitamente el acceso a rutas (anula Disallow)
- Sitemap: Dirige a los rastreadores a tu mapa del sitio XML
- Crawl-delay: Especifica el retraso entre solicitudes (no compatible con todos los bots)

Robots.txt es parte del Protocolo de Exclusión de Robots y es respetado por motores de búsqueda confiables como Google, Bing, Yahoo y otros. Sin embargo, no es una medida de seguridad - los bots maliciosos pueden ignorarlo.

¿Cómo usar este probador de robots.txt?

Usar el probador es simple:

1. Pegue su contenido de robots.txt en el área de texto (o haga clic en 'Cargar Ejemplo' para ver un ejemplo)
2. Seleccione un User-Agent (Googlebot, Bingbot, etc.) o elija 'Personalizado' para bots específicos
3. Ingrese la ruta URL que desea probar (ej: /admin/dashboard)
4. Haga clic en 'Probar' para ver si la ruta está permitida o bloqueada

La herramienta:
- Analiza todas las reglas de robots.txt
- Aplica las reglas de precedencia correctas
- Muestra si la URL está permitida o bloqueada
- Muestra qué regla específica coincidió
- Muestra todas las directivas analizadas como referencia

Puede probar múltiples rutas y user-agents para asegurar que su robots.txt funcione según lo previsto.

¿Cuáles son las reglas de precedencia en robots.txt?

Cuando múltiples reglas coinciden con una URL, robots.txt sigue estas reglas de precedencia:

1. La Ruta Más Específica Gana: Una regla más larga y específica anula una más corta
- Disallow: /admin/ vs Disallow: /admin/settings/
- La ruta más larga tiene precedencia

2. Allow Gana a Disallow: Cuando las reglas son igualmente específicas, Allow gana
- Disallow: /admin/ + Allow: /admin/public/
- /admin/public/ está permitido a pesar de la regla Disallow

3. Especificidad del User-Agent: Reglas específicas de user-agent anulan el comodín (*)
- Las reglas User-agent: Googlebot tienen precedencia sobre User-agent: * para Google

4. Permitir por Defecto: Si no coincide ninguna regla, el acceso está permitido por defecto

Nuestra herramienta implementa correctamente estas reglas para darle resultados precisos que coincidan con cómo los motores de búsqueda interpretan su archivo robots.txt.

¿Puedo probar diferentes bots de motores de búsqueda?

¡Sí! La herramienta soporta pruebas con muchos rastreadores populares de motores de búsqueda:

- Googlebot: Rastreador web principal de Google
- Googlebot-Image: Para Búsqueda de Imágenes de Google
- Googlebot-News: Para Google News
- Googlebot-Video: Para Búsqueda de Videos de Google
- Bingbot: Rastreador de Microsoft Bing
- Slurp: Rastreador web de Yahoo
- DuckDuckBot: Rastreador de DuckDuckGo
- Baiduspider: Baidu (motor de búsqueda chino)
- YandexBot: Yandex (motor de búsqueda ruso)
- Bots de redes sociales: Facebook, Twitter, LinkedIn
- Personalizado: Pruebe cualquier cadena de user-agent

Diferentes bots pueden tener diferentes reglas en su robots.txt, y esta herramienta le permite probar cada uno individualmente para asegurar que se comporten como se espera.

¿Qué son los comodines en robots.txt?

Robots.txt soporta dos comodines importantes:

1. Asterisco (*) - Coincide con cualquier secuencia de caracteres
Ejemplos:
- Disallow: /*.pdf$ (bloquea todos los archivos PDF)
- Disallow: /admin/* (bloquea todo bajo /admin/)
- Allow: /public/*.html (permite todo HTML en /public/)

2. Signo de Dólar ($) - Coincide con el final de la URL
Ejemplos:
- Disallow: /*.pdf$ (bloquea URLs que terminan en .pdf)
- Disallow: /admin$ (bloquea /admin pero no /admin/page)
- Allow: /search$ (permite exactamente /search, no /search/results)

Sin $, una regla coincide con cualquier URL que comience con ese patrón:
- Disallow: /admin (coincide /admin, /admin/, /admin/page, /administrator)
- Disallow: /admin$ (coincide solo /admin)

Nuestra herramienta maneja correctamente ambos comodines para probar con precisión sus reglas.

Errores comunes en robots.txt

Evite estos errores comunes de robots.txt:

1. Bloquear archivos CSS/JS: No bloquee recursos que Google necesita para renderizar páginas
- Malo: Disallow: /*.css$
- Esto puede perjudicar el SEO ya que Google no puede renderizar su sitio correctamente

2. Errores tipográficos y de sintaxis: Robots.txt distingue mayúsculas y minúsculas
- Use 'Disallow:', no 'disallow:' o 'DisAllow:'
- Use 'User-agent:', no 'User-Agent:' (aunque la mayoría de bots aceptan ambos)

3. Bloquear todo el sitio sin querer:
- Disallow: / (¡bloquea todo!)
- Asegúrese de que esto sea intencional

4. Usar robots.txt para seguridad: No es una herramienta de seguridad
- Los bots maliciosos lo ignoran
- Use autenticación apropiada en su lugar

5. Olvidar la directiva Allow:
- Puede desbloquear subdirectorios de directorios bloqueados
- Disallow: /admin/ luego Allow: /admin/public/

¡Use este probador para detectar estos errores antes de implementar su robots.txt!

¿Están seguros mis datos?

Sí, sus datos están completamente seguros:

- Todas las pruebas ocurren en su navegador
- Ningún contenido de robots.txt se envía a ningún servidor
- No almacenamos ni registramos ningún dato que pruebe
- Funciona completamente sin conexión después de cargar la página
- Sin seguimiento ni análisis de sus datos de prueba
- Procesamiento del lado del cliente de código abierto

Puede verificar la privacidad revisando la pestaña de red de su navegador - no se realizan solicitudes al probar reglas de robots.txt.

Características Principales

• Probar cualquier contenido de robots.txt
• Soporte para todos los bots principales de motores de búsqueda
• Prueba de user-agent personalizado
• Implementación precisa de reglas de precedencia
• Soporte de comodines (* y $)
• Análisis visual de todas las reglas
• Detección de Allow/Disallow
• Resaltado de regla coincidente
• Robots.txt de ejemplo para pruebas rápidas
• Validación en tiempo real
• Soporte de modo oscuro
• Procesamiento 100% del lado del cliente
• Sin datos enviados a servidores
• Funciona sin conexión
• Diseño amigable para móviles