О краулере AiReadinessBot

Кто мы

Мы краулер сервиса проверки сайтов. Приходим по одной из двух причин: владелец заказал проверку своего сайта либо кто-то запросил отчёт по публичному адресу. Представляемся так:

AiReadinessBot/1.0 (+https://ai-readiness.local/bot)

Что запрашиваем

• главную страницу — дважды: как краулер и как браузер, чтобы увидеть, одно ли им отдают
• robots.txt, sitemap.xml, llms.txt и значок сайта
• до 8 внутренних страниц, найденных по вашим же ссылкам
• до 15 ссылок — посмотреть, какие из них битые
• до 8 картинок и до 5 адресов из карты сайта
• шесть общеизвестных адресов, которых не должно быть в открытом доступе: .git/config, .env, phpinfo.php, backup.zip, dump.sql, database.sql

Мы только читаем. Не отправляем формы, не входим в учётные записи, ничего не меняем и не подбираем паролей. Каждый запрос — GET.

Как часто

• Одна проверка — не больше шестидесяти запросов, обычно меньше.
• Ваш сайт не проверяется чаще 6 раз в час, кем бы и с каких адресов ни запрашивали. Если вы оформили подписку и попросили следить за сайтом, потолок — 30: нагружаете свой сервер тогда вы сами и по своей воле.
• Сайт на мониторинге перепроверяется не чаще раза в 20 часов.
• Один посетитель не может запустить больше 5 проверок в минуту и 30 в час.
• Повторный запрос в течение 5 минут получает готовый отчёт, а не новый заход на ваш сервер.

Как нас закрыть

Добавьте в robots.txt:

User-agent: AiReadinessBot
Disallow: /

Правило, называющее нас по имени, — закон для нас всегда и без исключений: мы читаем robots.txt перед каждым заходом.

Одна честная оговорка: общее правило для всех роботов (User-agent: *) не останавливает нас на сайте, владелец которого оформил у нас подписку и попросил следить за сайтом. Правило с именем AiReadinessBot останавливает и там.

Если что-то пошло не так

Адрес появится вместе с доменом. А пока: если наш краулер вам мешает, правило в robots.txt выше останавливает его немедленно.