Доступ ИИ-краулеров в robots.txt критично
Смотрим, не закрыт ли сайт от GPTBot, ClaudeBot, PerplexityBot и Google-Extended.
ChatGPT, Claude и другие ИИ читают сайты не так, как Google. Проверим ваш по 16 техническим пунктам и покажем, что мешает ИИ вас цитировать.
Проверка занимает 1–3 минуты: мы обходим страницу и связанные с ней ресурсы.
Смотрим, не закрыт ли сайт от GPTBot, ClaudeBot, PerplexityBot и Google-Extended.
Смотрим, есть ли текст в исходном HTML: ИИ-краулеры не выполняют скрипты.
Запрашиваем страницу под браузером и под ИИ-краулером и сравниваем ответы.
Проверяем наличие /llms.txt — краткой карты сайта, которую читают языковые модели.
Проверяем, что главная отдаёт 200 и не прячется за цепочкой редиректов.
Проверяем работу по HTTPS, срок действия сертификата и редирект с http.
Ищем структурированные данные, по которым ИИ определяет тип и автора контента.
Проверяем title, description, canonical, lang и Open Graph.
Проверяем единственный H1, иерархию заголовков и теги main/article/header.
Оцениваем объём текста, наличие даты обновления и указания автора.
Сколько на странице настоящего текста против разметки — на «пустых» страницах ИИ нечего читать.
Видны ли почта, телефон или адрес — на вопрос «как связаться» ИИ отвечает тем, что на странице.
Ссылки на официальные аккаунты связывают сайт с известной ИИ сущностью.
Считаем долю картинок без атрибута alt — без него ИИ не знает, что на них.
Ищем sitemap.xml, проверяем валидность XML и объявлен ли он в robots.txt.
Замеряем время ответа, размер HTML, сжатие и цепочку редиректов.
Не всегда: ИИ читает сайт иначе, чем человек, и часто не видит его вовсе. Проверить бесплатно можно на zikilo.com — за минуту, без регистрации.
Обычные причины: сайт закрыт от ИИ-краулеров в robots.txt, весь текст подгружается скриптом (ИИ видит пустую страницу) или нет разметки Schema.org, по которой ИИ понимает, чем вы занимаетесь.
Введите адрес сайта на zikilo.com — проверка пройдёт по 16 техническим пунктам и покажет, что мешает ИИ вас увидеть и процитировать.
Это то, находят ли и цитируют ли ваш сайт ИИ-ассистенты (ChatGPT, Claude, Perplexity, Gemini), когда человек задаёт им вопрос по вашей теме. По сути — новая версия SEO для эпохи ИИ.
SEO — про позиции в Google. ИИ-видимость — про то, попадёт ли ваш сайт в ответ ChatGPT или Perplexity. Всё больше людей спрашивают не поисковик, а ИИ, поэтому важно и то, и другое.
Откройте ИИ-краулеров в robots.txt, отдавайте текст без JavaScript, добавьте разметку Schema.org, файлы llms.txt и sitemap.xml. Точный список для вашего сайта покажет бесплатная проверка на zikilo.com.