Welche KI-Crawler lesen Deine Webseite?
KI-Assistenten beantworten Fragen mit Inhalten aus dem Internet, auch mit Deinen. Dafür schicken die Anbieter eigene Programme vorbei, die Deine Seiten lesen. Hier erfährst Du, welche das sind und wie Du sie sichtbar machst.
Kurz gesagt
KI-Crawler lesen Deine Seiten für das Training, für die KI-Suche oder für eine einzelne Frage. Weil sie kein JavaScript ausführen, sieht eine normale Webstatistik sie nicht. Statistikwerk zählt sie mit dem WordPress-Plugin oder einem PHP-Baustein. In der robots.txt legst Du fest, wer lesen darf.
Inhalt
Drei Arten von KI-Crawlern
Nicht jeder KI-Crawler will dasselbe. Statistikwerk teilt sie in drei Arten ein:
| Art | Wozu | Beispiele |
|---|---|---|
| Training | Texte sammeln, um KI-Modelle zu trainieren | GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), meta-externalagent (Meta) |
| KI-Suche | Seiten für die Suche im KI-Assistenten finden, ähnlich wie Google | OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot |
| Abruf für eine Frage | eine Seite lesen, weil jemand gerade danach fragt | ChatGPT-User, Claude-User, Perplexity-User |
Für Deine Sichtbarkeit zählen vor allem die Suche und der Abruf. Hier holt sich ein KI-Assistent Deine Seite, um sie in einer Antwort zu nennen oder zu verlinken.
Warum eine normale Webstatistik sie nicht sieht
Webstatistiken wie Statistikwerk oder Google Analytics zählen über ein kleines Script, das im Browser läuft. KI-Crawler laden zwar Deine Seite, führen aber kein JavaScript aus. In der Statistik tauchen sie darum nicht auf, auch wenn sie jeden Tag vorbeikommen.
So zählt Statistikwerk KI-Crawler
Damit Statistikwerk die Crawler sieht, muss die Zählung direkt auf Deinem Server laufen:
- WordPress: Das Plugin zählt die Abrufe auf Deinem Server und meldet sie einmal pro Stunde. Das Plugin muss mit Statistikwerk verbunden und die Zählung in seinen Einstellungen eingeschaltet sein.
- Andere Webseiten mit PHP: In der Einrichtung unter «KI-Crawler zählen» lädst Du einen kleinen PHP-Baustein herunter. Du bindest ihn in die index.php ein, bei reinen HTML-Seiten über die .htaccess.
- Baukästen wie Wix, Jimdo oder Shopify: Dort lässt sich kein eigener Code auf dem Server ausführen. KI-Crawler kann Statistikwerk hier leider nicht zählen.
Die Zahlen findest Du in der Statistik in der Karte «KI-Sichtbarkeit» unter «Abrufe durch KI-Crawler»: nach Art, nach Crawler und mit den Seiten, die am häufigsten gelesen werden.
Besucher aus KI-Assistenten
Neben den Crawlern gibt es Menschen, die in ChatGPT, Perplexity, Claude, Gemini oder Copilot auf einen Link zu Deiner Seite klicken. Diese Besucher zählt das normale Script. Statistikwerk zeigt sie als eigenen Kanal «KI-Assistenten», ebenfalls in der Karte «KI-Sichtbarkeit», mit ihrem Anteil an allen Besuchern und den Seiten, auf denen sie ankommen.
robots.txt: Wer darf lesen?
Die Datei robots.txt im Hauptverzeichnis Deiner Webseite sagt Crawlern, was sie lesen dürfen. Seriöse Anbieter halten sich daran. Ein Beispiel, das das Training verbietet und die KI-Suche erlaubt:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Für die KI von Google gibt es die Bezeichnung «Google-Extended». Sie regelt nur die Nutzung für KI, die normale Google-Suche bleibt davon unberührt.
Überleg Dir gut, wen Du sperrst. Wer die Such-Crawler aussperrt, wird in KI-Antworten seltener genannt. Manche Hoster und Dienste wie Cloudflare sperren KI-Crawler inzwischen von sich aus. Ein Blick in Deine robots.txt lohnt sich: Du findest sie unter Deine-Domain/robots.txt.
Tipp: Der KI-Schnellcheck prüft Deine robots.txt für alle wichtigen Crawler, testet, ob eine Firewall KI-Crawler abweist, und zeigt, was Du verbessern kannst. Gratis und ohne Anmeldung.
llms.txt: eine Zusammenfassung für KI
Die llms.txt ist ein noch junger Vorschlag: eine einfache Textdatei im Hauptverzeichnis, die KI-Systemen in wenigen Sätzen erklärt, worum es auf Deiner Webseite geht und wo die wichtigsten Seiten liegen. Ein offizieller Standard ist sie nicht, und ob die grossen Anbieter sie lesen, ist offen. Der Aufwand ist aber klein. Statistikwerk hat selbst eine, unter statistikwerk.ch/llms.txt.
Häufige Fragen
Soll ich KI-Crawler aussperren?
Das hängt davon ab, was Dir wichtiger ist. Willst Du nicht, dass Deine Texte ins Training fliessen, sperrst Du die Training-Crawler. Willst Du in KI-Antworten vorkommen, lässt Du die Such- und Abruf-Crawler zu.
Warum sehe ich keine KI-Crawler, obwohl das Plugin verbunden ist?
Prüfe zuerst, ob die Zählung in den Plugin-Einstellungen eingeschaltet ist. Liefert ein Cache-Plugin Deine Seiten aus, ohne WordPress zu starten, sieht das Plugin diese Abrufe nicht. Und manchmal kommen einfach noch keine: Neue oder kleine Webseiten besuchen die Crawler seltener.
Kann sich ein Programm als KI-Crawler ausgeben?
Ja. Statistikwerk erkennt Crawler an ihrer Kennung, dem User-Agent, und diese Kennung kann jeder Abruf vortäuschen. Für einen Überblick reicht das, als Beweis taugt es nicht.
Probier es mit Deiner eigenen Webseite aus.
Kostenlos, ohne Kreditkarte, in zwei Minuten eingerichtet.
Das könnte Dich auch interessieren
Alle Artikel
Brauche ich für meine Webstatistik ein Cookie-Banner?
Was in der Schweiz und in der EU gilt, wie sich Google Analytics und Statistikwerk unterscheiden und wann Du das Banner weglassen kannst.
3 Min. Lesezeit
Von Google Analytics wechseln, Schritt für Schritt
Wie Du zu Statistikwerk umstellst, ohne Zahlen zu verlieren, und wann Du Google Analytics und das Cookie-Banner abschalten kannst.
3 Min. Lesezeit
So zählt Statistikwerk Besucher ohne Cookies
Was bei einem Seitenaufruf passiert, was gespeichert wird und was am Ende des Tages davon übrig bleibt.
3 Min. Lesezeit