robots.txt での AI クローラーの扱い 重大
GPTBot・ClaudeBot・PerplexityBot・Google-Extended を締め出していないかを見ます。
ChatGPT や Claude など AI は Google とは違う読み方をします。あなたのサイトを 16 項目で確認し、AI が引用しない原因を示します。
診断には 1〜3 分かかります。ページと関連リソースを巡回します。
GPTBot・ClaudeBot・PerplexityBot・Google-Extended を締め出していないかを見ます。
生の HTML に本文があるかを見ます。AI クローラーはスクリプトを実行しません。
ブラウザーとして、また AI クローラーとしてページを取得し、応答を比べます。
言語モデルが読む簡潔なサイト案内 /llms.txt があるかを確認します。
トップページが 200 を返し、リダイレクトの連鎖に隠れていないかを確認します。
HTTPS が動作し、証明書が有効で、http がそちらへ転送されるかを確認します。
AI が内容の種類と書き手を判断する手がかりになる構造化データを探します。
title・description・canonical・lang・Open Graph を確認します。
H1 が 1 つか、見出しの階層は妥当か、main/article/header があるかを確認します。
本文の量、更新日の有無、書き手の明示を見ます。
ページのうち実際のテキストがマークアップに対してどれだけあるか——中身の薄いページはAIが読み取りにくい。
メール・電話・住所が見えるか——「どう連絡するか」にAIはページの内容で答えます。
公式アカウントへのリンクは、サイトをAIが既に知る実体に結び付けます。
alt 属性のない画像の割合を数えます。これがないと AI も読み上げソフトも何の絵か分かりません。
サイトマップが存在し、開けて、robots.txt に書かれているかを確認します。
応答時間、HTML の大きさ、圧縮が有効かを測ります。
いつもとは限りません。AI は人とは違う読み方をし、まったく見えないことも多いです。zikilo.com で無料チェック——1分でレポート、登録不要。
よくある原因:robots.txt で AI クローラーを拒否している、本文が JavaScript で読み込まれる(AI には空白ページ)、事業内容を AI に伝える Schema.org 記述がない、など。
zikilo.com にサイトのアドレスを入力——16項目の技術チェックで、AI に見えず引用されない原因を示します。
誰かがあなたの分野について AI アシスタント(ChatGPT・Claude・Perplexity・Gemini)に尋ねたとき、あなたのサイトが見つかり引用されるか、ということ。要するに AI 時代の SEO です。
SEO は Google の順位の話。AI 可視性は、あなたのサイトが ChatGPT や Perplexity の回答に入るかどうかの話です。検索より AI に尋ねる人が増えており、両方が重要です。
robots.txt で AI クローラーを許可し、JavaScript なしで本文を返し、Schema.org 記述・llms.txt・sitemap.xml を追加します。zikilo.com の無料チェックが、あなたのサイト向けの具体的な一覧を示します。