وصول زواحف الذكاء الاصطناعي في robots.txt حرِج
ننظر هل الموقع يحجب GPTBot وClaudeBot وPerplexityBot وGoogle-Extended.
ChatGPT وClaude وPerplexity تقرأ المواقع بطريقة تختلف عن Google. سنفحص موقعك في 16 بندًا تقنيًا ونبيّن ما يمنع الذكاء الاصطناعي من الاستشهاد بك.
يستغرق الفحص من دقيقة إلى ثلاث: نتصفّح الصفحة وكل ما تعتمد عليه.
ننظر هل الموقع يحجب GPTBot وClaudeBot وPerplexityBot وGoogle-Extended.
نبحث عن النص في شيفرة HTML الأصلية: زواحف الذكاء الاصطناعي لا تنفّذ السكربتات.
نطلب الصفحة بصفة متصفّح ثم بصفة زاحف ذكاء اصطناعي ونقارن الردّين.
نتحقق من وجود /llms.txt — خريطة موجزة للموقع تقرؤها النماذج اللغوية.
نتحقق أن الصفحة الرئيسة تردّ بالرمز 200 ولا تختبئ خلف سلسلة تحويلات.
نتحقق أن HTTPS يعمل وأن الشهادة سارية وأن http يحوّل إليه.
نبحث عن البيانات المهيكلة التي يعرف منها الذكاء الاصطناعي نوع المحتوى وكاتبه.
نتحقق من title وdescription وcanonical وlang وOpen Graph.
نتحقق من وجود H1 واحد وتسلسل عناوين سليم ووسوم main/article/header.
نزن كمية النص ووجود تاريخ التحديث واسم الكاتب.
ما مقدار النص الحقيقي في الصفحة مقابل الترميز — الصفحات الفارغة يصعب على الذكاء الاصطناعي قراءتها.
هل يظهر بريد أو هاتف أو عنوان — يجيب الذكاء الاصطناعي عن "كيف أتواصل" بما في الصفحة.
روابط الحسابات الرسمية تربط الموقع بكيان يعرفه الذكاء الاصطناعي.
نحسب نسبة الصور بلا خاصية alt — من دونها لا يعرف الذكاء الاصطناعي ولا قارئ الشاشة ما في الصورة.
نتحقق أن الخريطة موجودة وتُفتح ومذكورة في robots.txt.
نقيس زمن الاستجابة وحجم شيفرة HTML وهل الضغط مفعَّل.