عن زاحف AiReadinessBot

من نحن

نحن زاحف خدمة لفحص المواقع. نأتي لسبب من اثنين: صاحب الموقع طلب فحص موقعه، أو أن أحدًا طلب تقريرًا عن عنوان عام. نُعرّف عن أنفسنا هكذا:

AiReadinessBot/1.0 (+https://ai-readiness.local/bot)

ماذا نطلب

• الصفحة الرئيسية مرتين: مرة كزاحف ومرة كمتصفح، لنرى هل يصلهما الشيء نفسه
• ملفات robots.txt وsitemap.xml وllms.txt وأيقونة الموقع
• حتى 8 صفحات داخلية وجدناها عبر روابطك أنت
• حتى 15 رابطًا، لنرى أيها معطّل
• حتى 8 صور وحتى 5 عناوين من خريطة الموقع
• ستة عناوين معروفة لا ينبغي أن تكون علنية: ‎.git/config و‎.env وphpinfo.php وbackup.zip وdump.sql وdatabase.sql

نحن نقرأ فقط. لا نُرسل النماذج، ولا ندخل إلى الحسابات، ولا نغيّر شيئًا، ولا نجرّب أي كلمة مرور. كل طلب هو GET.

كم مرة

• الفحص الواحد ستون طلبًا على الأكثر، وغالبًا أقل.
• لا يُفحص موقعك أكثر من 6 مرات في الساعة، مهما كان الطالب ومن أي عناوين. وإن كنت مشتركًا وطلبت منّا مراقبته فالسقف 30 — عندئذٍ أنت من يُحمّل خادمك، وبإرادتك.
• الموقع الخاضع للمراقبة يُعاد فحصه مرة كل عشرين ساعة على الأكثر.
• لا يستطيع زائر واحد بدء أكثر من 5 فحوص في الدقيقة و30 في الساعة.
• الطلب المكرر خلال 5 دقائق يحصل على التقرير الجاهز، لا على زيارة جديدة لخادمك.

كيف تُغلق الباب في وجهنا

أضف هذا إلى ملف robots.txt:

User-agent: AiReadinessBot
Disallow: /

القاعدة التي تذكرنا بالاسم قانون لنا دائمًا وبلا استثناء: نقرأ robots.txt قبل كل زيارة.

استثناء واحد نقوله بصراحة: القاعدة العامة لكل الروبوتات (User-agent: *) لا توقفنا على موقع اشترك صاحبه لدينا وطلب منّا مراقبته. أما القاعدة التي تحمل اسم AiReadinessBot فتوقفنا هناك أيضًا.

إن حدث خلل

سيظهر العنوان مع النطاق. وحتى ذلك الحين: إن كان زاحفنا يزعجك، فقاعدة robots.txt أعلاه توقفه فورًا.