À propos du robot AiReadinessBot

Si vous avez trouvé cette adresse dans vos journaux, cette page est pour vous. Elle dit qui nous sommes, ce que nous demandons, à quelle fréquence et comment nous fermer la porte.

Qui nous sommes

Nous sommes le robot d'un service de vérification de sites. Nous venons pour l'une de deux raisons : le propriétaire a demandé une vérification de son site, ou quelqu'un a demandé un rapport sur une adresse publique. Nous nous présentons ainsi :

AiReadinessBot/1.0 (+https://ai-readiness.local/bot)

Ce que nous demandons

  • la page d'accueil — deux fois : en robot et en navigateur, pour voir s'ils reçoivent la même chose
  • robots.txt, sitemap.xml, llms.txt et l’icône du site
  • jusqu'à 8 pages internes trouvées dans vos propres liens
  • jusqu'à 15 liens, pour voir lesquels sont morts
  • jusqu'à 8 images et jusqu'à 5 adresses du plan du site
  • six adresses bien connues qui ne devraient pas être publiques : .git/config, .env, phpinfo.php, backup.zip, dump.sql, database.sql

Nous ne faisons que lire. Nous n'envoyons pas de formulaires, ne nous connectons à rien, ne modifions rien et n'essayons aucun mot de passe. Chaque requête est un GET.

À quelle fréquence

  • Une vérification, c'est au plus une soixantaine de requêtes, souvent moins.
  • Votre site n'est pas vérifié plus de 6 fois par heure, quel que soit le demandeur et le nombre d'adresses. Si vous êtes abonné et nous avez demandé de le surveiller, le plafond est de 30 : c'est alors vous qui chargez votre serveur, volontairement.
  • Un site surveillé est revérifié au plus une fois toutes les 20 heures.
  • Un visiteur ne peut lancer plus de 5 vérifications par minute et 30 par heure.
  • Une demande répétée dans les 5 minutes reçoit le rapport déjà fait, et non une nouvelle visite sur votre serveur.

Comment nous fermer la porte

Ajoutez ceci à votre robots.txt :

User-agent: AiReadinessBot
Disallow: /

Une règle qui nous nomme fait loi pour nous, toujours et sans exception : nous lisons robots.txt avant chaque visite.

Une exception, dite franchement : une règle générale pour tous les robots (User-agent: *) ne nous arrête pas sur un site dont le propriétaire a un abonnement chez nous et nous a demandé de le surveiller. Une règle nommant AiReadinessBot nous y arrête aussi.

Si quelque chose s'est mal passé

L'adresse arrivera avec le domaine. En attendant : si notre robot vous gêne, la règle robots.txt ci-dessus l'arrête immédiatement.