Sobre el rastreador AiReadinessBot

Si has encontrado esta dirección en tus registros, esta página es para ti. Explica quiénes somos, qué pedimos, con qué frecuencia y cómo cerrarnos la puerta.

Quiénes somos

Somos el rastreador de un servicio de comprobación de sitios. Venimos por una de dos razones: el propietario pidió una comprobación, o alguien pidió un informe sobre una dirección pública. Nos presentamos así:

AiReadinessBot/1.0 (+https://ai-readiness.local/bot)

Qué pedimos

  • la página principal, dos veces: como rastreador y como navegador, para ver si reciben lo mismo
  • robots.txt, sitemap.xml, llms.txt y el icono del sitio
  • hasta 8 páginas internas encontradas en tus propios enlaces
  • hasta 15 enlaces, para ver cuáles están rotos
  • hasta 8 imágenes y hasta 5 direcciones del mapa del sitio
  • seis direcciones conocidas que no deberían ser públicas: .git/config, .env, phpinfo.php, backup.zip, dump.sql, database.sql

Solo leemos. No enviamos formularios, no iniciamos sesión, no cambiamos nada y no probamos contraseñas. Cada petición es un GET.

Con qué frecuencia

  • Una comprobación son unas 60 peticiones como mucho, normalmente menos.
  • Tu sitio no se comprueba más de 6 veces por hora, lo pida quien lo pida y desde cuantas direcciones sea. Si te has suscrito y nos has pedido vigilarlo, el techo es 30: entonces quien carga tu servidor eres tú, a propósito.
  • Un sitio bajo vigilancia se revisa como mucho una vez cada 20 horas.
  • Un visitante no puede lanzar más de 5 comprobaciones por minuto ni 30 por hora.
  • Una petición repetida en 5 minutos recibe el informe ya hecho, no una nueva visita a tu servidor.

Cómo cerrarnos la puerta

Añade esto a tu robots.txt:

User-agent: AiReadinessBot
Disallow: /

Una regla que nos nombra es ley para nosotros siempre, sin excepciones: leemos robots.txt antes de cada visita.

Una excepción, dicha con franqueza: una regla general para todos los robots (User-agent: *) no nos detiene en un sitio cuyo propietario tiene una suscripción activa con nosotros y nos pidió vigilarlo. Una regla con el nombre AiReadinessBot sí nos detiene también allí.

Si algo ha ido mal

La dirección aparecerá junto con el dominio. Mientras tanto: si nuestro rastreador te molesta, la regla de robots.txt de arriba lo detiene de inmediato.