Доступ ИИ-краулеров в robots.txt критично
Смотрим, не закрыт ли сайт от GPTBot, ClaudeBot, PerplexityBot и Google-Extended.
ChatGPT, Claude и Perplexity читают сайты не так, как Google. Проверим ваш по 16 техническим пунктам и покажем, что мешает ИИ вас цитировать.
Проверка занимает 1–3 минуты: мы обходим страницу и связанные с ней ресурсы.
Смотрим, не закрыт ли сайт от GPTBot, ClaudeBot, PerplexityBot и Google-Extended.
Смотрим, есть ли текст в исходном HTML: ИИ-краулеры не выполняют скрипты.
Запрашиваем страницу под браузером и под ИИ-краулером и сравниваем ответы.
Проверяем наличие /llms.txt — краткой карты сайта, которую читают языковые модели.
Проверяем, что главная отдаёт 200 и не прячется за цепочкой редиректов.
Проверяем работу по HTTPS, срок действия сертификата и редирект с http.
Ищем структурированные данные, по которым ИИ определяет тип и автора контента.
Проверяем title, description, canonical, lang и Open Graph.
Проверяем единственный H1, иерархию заголовков и теги main/article/header.
Оцениваем объём текста, наличие даты обновления и указания автора.
Сколько на странице настоящего текста против разметки — на «пустых» страницах ИИ нечего читать.
Видны ли почта, телефон или адрес — на вопрос «как связаться» ИИ отвечает тем, что на странице.
Ссылки на официальные аккаунты связывают сайт с известной ИИ сущностью.
Считаем долю картинок без атрибута alt — без него ИИ не знает, что на них.
Ищем sitemap.xml, проверяем валидность XML и объявлен ли он в robots.txt.
Замеряем время ответа, размер HTML, сжатие и цепочку редиректов.