دسترسی خزندههای هوش مصنوعی در robots.txt بحرانی
بررسی میکنیم که آیا سایت GPTBot، ClaudeBot، PerplexityBot و Google-Extended را مسدود میکند.
ChatGPT، Claude و دیگر هوشهای مصنوعی سایتها را متفاوت از Google میخوانند. سایت شما را روی 16 مورد فنی بررسی میکنیم و نشان میدهیم چه چیزی مانع از آن میشود که هوش مصنوعی به شما ارجاع دهد.
بررسی 1 تا 3 دقیقه طول میکشد: صفحه و هر آنچه به آن وابسته است را میخزیم.
بررسی میکنیم که آیا سایت GPTBot، ClaudeBot، PerplexityBot و Google-Extended را مسدود میکند.
در HTML خام دنبال متن میگردیم: خزندههای هوش مصنوعی اسکریپتها را اجرا نمیکنند.
صفحه را یکبار بهعنوان مرورگر و یکبار بهعنوان خزنده هوش مصنوعی درخواست میکنیم و پاسخها را مقایسه میکنیم.
وجود /llms.txt را بررسی میکنیم — نقشهای کوتاه از سایت که مدلهای زبانی آن را میخوانند.
بررسی میکنیم که صفحه اصلی با کد 200 پاسخ دهد و پشت زنجیرهای از بازهدایتها پنهان نشود.
بررسی میکنیم که HTTPS کار کند، گواهی معتبر باشد و http به آن بازهدایت شود.
دنبال دادههای ساختاریافتهای میگردیم که نوع و نویسنده محتوا را به هوش مصنوعی میگویند.
title، description، canonical، lang و Open Graph را بررسی میکنیم.
وجود یک H1 یگانه، سلسلهمراتب منطقی عناوین و برچسبهای main/article/header را بررسی میکنیم.
میزان متن، وجود تاریخ بهروزرسانی و نویسنده مشخص را میسنجیم.
اینکه چه بخشی از صفحه متن واقعی است در برابر نشانهگذاری — صفحات کممتن برای هوش مصنوعی سختخواناند.
اینکه آیا ایمیل، تلفن یا نشانی دیده میشود — هوش مصنوعی «چطور با آنها تماس بگیرم» را از آنچه روی صفحه است پاسخ میدهد.
پیوند به حسابهای اجتماعی رسمی، سایت را به موجودیتی که هوش مصنوعی از پیش میشناسد گره میزند.
سهم تصاویر بدون ویژگی alt را میشماریم — بدون آن نه هوش مصنوعی و نه صفحهخوان نمیداند چه چیزی تصویر شده است.
بررسی میکنیم که نقشه سایت وجود دارد، باز میشود و در robots.txt فهرست شده است.
زمان پاسخ، اندازه HTML و روشنبودن فشردهسازی را اندازه میگیریم.
همیشه نه: هوش مصنوعی سایت را متفاوت از انسان میخواند و اغلب اصلاً آن را نمیبیند. رایگان در zikilo.com بررسی کنید — گزارش در یک دقیقه، بدون ثبتنام.
دلایل رایج: سایت خزندههای هوش مصنوعی را در robots.txt مسدود میکند، تمام متن از طریق JavaScript بارگذاری میشود (هوش مصنوعی صفحهای خالی میبیند)، یا نشانهگذاری Schema.org وجود ندارد که به هوش مصنوعی بگوید چه کاری میکنید.
نشانی سایت خود را در zikilo.com وارد کنید — 16 بررسی فنی اجرا میکند و نشان میدهد چه چیزی مانع از دیدن و ارجاع شما توسط هوش مصنوعی میشود.
یعنی اینکه آیا دستیارهای هوش مصنوعی (ChatGPT، Claude، Perplexity، Gemini) هنگامی که کسی دربارهٔ موضوع شما از آنها میپرسد، سایت شما را پیدا و به آن ارجاع میدهند. در اصل، این سئوی عصر هوش مصنوعی است.
سئو دربارهٔ رتبهبندی در Google است. دیدهشدن در هوش مصنوعی دربارهٔ این است که آیا سایت شما به پاسخ ChatGPT یا Perplexity راه مییابد. افراد بیشتری بهجای موتور جستجو از هوش مصنوعی میپرسند، پس هر دو اهمیت دارند.
به خزندههای هوش مصنوعی در robots.txt اجازه دهید، متن را بدون JavaScript ارائه کنید، نشانهگذاری Schema.org، یک فایل llms.txt و sitemap.xml بیفزایید. بررسی رایگان در zikilo.com فهرست دقیق را برای سایت شما نشان میدهد.