Zugang der KI-Crawler in der robots.txt kritisch
Wir prüfen, ob die Website GPTBot, ClaudeBot, PerplexityBot und Google-Extended aussperrt.
ChatGPT, Claude und Perplexity lesen Websites anders als Google. Wir prüfen Ihre auf 16 technischen Punkten und zeigen, was die KI daran hindert, Sie zu zitieren.
Die Prüfung dauert 1–3 Minuten: Wir rufen die Seite und alles ab, was sie einbindet.
Wir prüfen, ob die Website GPTBot, ClaudeBot, PerplexityBot und Google-Extended aussperrt.
Wir suchen Text im rohen HTML: KI-Crawler führen keine Skripte aus.
Wir rufen die Seite als Browser und als KI-Crawler ab und vergleichen die Antworten.
Wir prüfen, ob es /llms.txt gibt — eine kurze Karte der Website, die Sprachmodelle lesen.
Wir prüfen, ob die Startseite mit 200 antwortet und sich nicht hinter einer Weiterleitungskette versteckt.
Wir prüfen, ob HTTPS läuft, das Zertifikat gültig ist und http darauf weiterleitet.
Wir suchen strukturierte Daten, an denen eine KI Art und Urheber des Inhalts erkennt.
Wir prüfen title, description, canonical, lang und Open Graph.
Wir prüfen auf ein einziges H1, eine sinnvolle Überschriftenhierarchie und die Tags main/article/header.
Wir wägen die Textmenge, das Vorhandensein eines Aktualisierungsdatums und eines genannten Autors.
Wie viel der Seite echter Text statt Markup ist — dünne Seiten sind für KI schwer zu lesen.
Ob E-Mail, Telefon oder Adresse sichtbar sind — die KI beantwortet «wie erreiche ich sie» aus dem Seiteninhalt.
Links zu offiziellen Konten verbinden die Seite mit einer der KI bekannten Entität.
Wir zählen den Anteil der Bilder ohne alt-Attribut — ohne es weiß weder eine KI noch ein Screenreader, was zu sehen ist.
Wir prüfen, ob die Sitemap existiert, sich öffnet und in der robots.txt genannt ist.
Wir messen die Antwortzeit, die Größe des HTML und ob Komprimierung aktiv ist.