Crawler

Ein Crawler, auch Webcrawler, Bot oder Spider genannt, ist ein Programm, das automatisch Websites findet und deren Inhalte abruft. Suchmaschinen brauchen Crawler, um Seiten überhaupt zu kennen, KI-Anbieter sammeln damit Inhalte für Suchfunktionen oder das Training ihrer Modelle. Ob ein Crawler deine Website lesen kann, entscheidet mit darüber, ob du dort später auftauchst.

Kurz zusammengefasst:

• Crawling heißt abrufen, noch nicht aufnehmen oder anzeigen.
• Der bekannteste Crawler ist der Googlebot.
• KI-Crawler haben verschiedene Zwecke, oft getrennt nach Suche und Training.
• Die robots.txt ist eine Bitte und kein Zugriffsschutz.
• Auch Server, Firewall oder CDN können Crawler aussperren.

Was ein Crawler tut

Ein Crawler ruft eine Seite ab, liest ihren Inhalt und folgt den Links zur nächsten. Bei Google ist das die erste von drei Stufen: Crawling, Indexierung und die Ausgabe der Ergebnisse. Eine abgerufene Seite steht also noch lange nicht in den Suchergebnissen, und Google garantiert ausdrücklich für keine Seite, dass sie gecrawlt, indexiert oder angezeigt wird.

Google weist zudem darauf hin, dass sich Fremde als Google ausgeben können. Wer in seinen Serverprotokollen einen „Googlebot“ sieht, hat ihn damit noch nicht bewiesen, geprüft wird das über die IP-Adresse.

KI-Crawler und ihre Zwecke

KI-Crawler sind keine einheitliche Gruppe. Die Anbieter trennen meist danach, ob Inhalte in einer Suche erscheinen, für das Training genutzt oder auf die Frage eines Nutzers hin abgerufen werden. Das ist für dich praktisch, weil du dem einen Zweck zustimmen und den anderen ablehnen kannst.

Daneben gibt es Abrufe, die ein Nutzer auslöst, etwa ChatGPT-User oder Perplexity-User. Sie zählen streng genommen nicht als automatische Crawler, und die robots.txt greift bei ihnen nur eingeschränkt: OpenAI schreibt, die Regeln gälten dort möglicherweise nicht, Perplexity, sie würden in der Regel ignoriert. Google-Extended wiederum ist kein eigener Crawler, sondern eine Kennung in der robots.txt für die Nutzung in Gemini-Modellen. Es hat laut Google keinen Einfluss auf die Google-Suche.

Was das für deinen Betrieb bedeutet

Für die meisten Betriebe zählt zuerst der Zugang. Das Crawl-Budget, von dem viel die Rede ist, spielt laut Google vor allem bei sehr großen oder sich schnell ändernden Websites eine Rolle, grob ab einer Million Seiten mit wöchentlichen oder 10.000 Seiten mit täglichen Änderungen. Bei kleineren Websites genügt in der Regel eine aktuelle XML-Sitemap und der regelmäßige Blick in den Bericht zur Seitenindexierung der Google Search Console.

Häufiger ist das Gegenteil: Eine Website sperrt Crawler aus, ohne dass jemand das wollte. Das sind die üblichen Stellen, an denen du nachfragen solltest:

• eine zu strenge Regel in der robots.txt, etwa aus der Bauphase,
• ein Serverfehler, bei dem der Googlebot seine Abrufe drosselt,
• eine Firewall oder ein Sicherheits-Plugin,
• ein CDN mit eigener Einstellung für KI-Bots.

Für die Entscheidung, welche KI-Crawler du zulässt, gibt es keine Einheitsantwort. Wer in KI-Suchen auffindbar sein will, sollte die Suchcrawler nicht sperren. Ob du das Training erlaubst, ist eine Abwägung für dein Unternehmen. Wie du in KI-Suchen auffindbar wirst, beschreibt unsere Seite zur KI-Sichtbarkeit.

Häufige Fragen

Halten sich alle Crawler an die robots.txt?

Nein. Die Regeln sind laut Standard keine Zugriffskontrolle, seriöse Crawler halten sich daran, andere nicht. Vertrauliche Inhalte brauchst du deshalb hinter einem Passwort.

Wie halte ich eine Seite aus Google heraus?

Nicht über die robots.txt, denn gesperrte Adressen können trotzdem in den Ergebnissen auftauchen. Google nennt dafür noindex oder einen Passwortschutz.

Schadet es, den GPTBot zu sperren?

Laut OpenAI sind die Einstellungen unabhängig voneinander. Sperrst du nur den GPTBot, kannst du über den OAI-SearchBot weiter in den Suchfunktionen von ChatGPT erscheinen.

Brauche ich eine besondere Datei für KI-Crawler?

Für die KI-Funktionen der Google-Suche nicht: Google verlangt dafür keine eigenen Dateien und kein besonderes Markup. Was es mit einer llms.txt auf sich hat, steht in einem eigenen Eintrag.

Wie sehe ich, ob Crawler bei mir vorbeikommen?

Die Serverprotokolle zeigen die Abrufe mit Kennung und IP-Adresse. Für Google zeigt die Search Console zudem, welche Seiten indexiert sind. Frag deinen Hoster, wenn du keinen Zugriff auf die Protokolle hast.

Kommen Suchmaschinen und KI-Dienste auf deine Website?

Wir sehen uns gern gemeinsam mit dir an, was bei dir gesperrt ist und ob das so gewollt ist.