クローラー AiReadinessBot について

私たちは何者か

サイト検査サービスのクローラーです。訪れる理由は二つのどちらかです。運営者がご自身のサイトの検査を依頼したか、誰かが公開アドレスについてのレポートを求めたか。名乗り方はこうです：

AiReadinessBot/1.0 (+https://ai-readiness.local/bot)

何を取得するか

• トップページ——二回。クローラーとして一回、ブラウザーとして一回。両者に同じものが返るかを見るためです
• robots.txt、sitemap.xml、llms.txt、サイトのアイコン
• あなた自身のリンクからたどった内部ページを最大 8 件
• リンクを最大 15 件——どれが切れているかを見るため
• 画像を最大 8 件、サイトマップのアドレスを最大 5 件
• 公開されているべきでない、よく知られた六つのアドレス：.git/config、.env、phpinfo.php、backup.zip、dump.sql、database.sql

読むだけです。フォームは送りません。ログインもしません。何も変更せず、パスワードも試しません。どの要求も GET です。

どれくらいの頻度で

• 一回の検査は多くても 60 要求ほど、たいていはそれ以下です。
• 誰が、いくつのアドレスから頼んでも、あなたのサイトの検査は 1 時間に 6 回までです。購読していて監視を依頼している場合の上限は 30 回——そのときサーバーに負荷をかけているのは、ご自身の意思によるあなた自身です。
• 監視中のサイトの再検査は 20 時間に一度までです。
• 一人の訪問者が始められる検査は毎分 5 件、毎時 30 件までです。
• 5 分以内の再依頼には既存のレポートを返します。あなたのサーバーへ改めて伺うことはしません。

締め出す方法

robots.txt にこれを加えてください：

User-agent: AiReadinessBot
Disallow: /

私たちを名指しした規則は、例外なくいつでも私たちにとっての決まりです。訪問のたびに robots.txt を読みます。

正直に申し上げる例外が一つあります。すべてのロボット向けの一般規則（User-agent: *）は、運営者が当方で購読中で監視を依頼しているサイトでは私たちを止めません。AiReadinessBot と名指しした規則なら、そこでも止まります。

不具合があったら

アドレスはドメインと一緒に公開します。それまでは、私たちのクローラーがご迷惑なら、上の robots.txt の規則が直ちに止めます。