KI-Crawler blockieren: Website-Inhalte vor KI-Training schützen

Texte, Preislisten, Fachartikel, Referenzen: Was auf Ihrer Firmenwebsite steht, wird nicht nur von Kunden und Google gelesen, sondern auch von Crawlern der KI-Anbieter, die damit Modelle trainieren oder Antworten in KI-Suchen generieren. Wer KI-Crawler blockieren will, steht schnell vor einem Zielkonflikt: Die Inhalte sollen in der klassischen Suche sichtbar bleiben, aber nicht ungefragt als Trainingsmaterial dienen. Heise berichtet aktuell, dass Cloudflare genau diesen Konflikt bei Mehrzweck-Crawlern mit neuen Regeln entschärfen will. Für KMU in Dresden und ganz Sachsen ist das ein guter Anlass, die eigene Website einmal systematisch durchzugehen.

Welche Crawler es gibt und warum die Unterscheidung wichtig ist

Nicht jeder Bot, der Ihre Seite abruft, will dasselbe. Grob lassen sich drei Gruppen unterscheiden:

• Suchmaschinen-Crawler (zum Beispiel Googlebot, Bingbot): Sie indexieren Ihre Seiten, damit Kunden Sie finden.
• KI-Trainings-Crawler (zum Beispiel GPTBot von OpenAI, ClaudeBot von Anthropic, CCBot von Common Crawl, Bytespider von ByteDance): Sie sammeln Inhalte, um Sprachmodelle zu trainieren.
• KI-Such- und Assistenten-Bots (zum Beispiel OAI-SearchBot, ChatGPT-User, PerplexityBot): Sie rufen Seiten ab, um Nutzern in KI-Suchen oder Chats Antworten mit Quellenangabe zu liefern.

Die Trennung ist nicht immer sauber. Bei Mehrzweck-Crawlern lässt sich der Abruf für die Suche kaum vom Abruf für KI-Funktionen trennen – genau darauf zielt die Kritik, die Cloudflare aufgreift. Für Google gibt es zusätzlich das Robots-Token Google-Extended, mit dem sich die Nutzung Ihrer Inhalte für bestimmte KI-Funktionen von Google einschränken lässt, ohne den normalen Googlebot auszusperren. Ähnlich funktioniert Applebot-Extended bei Apple.

Warum KMU das Thema nicht ignorieren sollten

Urheberrecht und Wettbewerb

Ihre Fachtexte und Leistungsbeschreibungen sind Arbeit, die Sie bezahlt haben. Nach § 44b Urheberrechtsgesetz dürfen Werke für Text- und Data-Mining vervielfältigt werden, sofern der Rechteinhaber sich die Nutzung nicht vorbehalten hat – bei online zugänglichen Inhalten muss dieser Vorbehalt maschinenlesbar sein. Eine Regel in der robots.txt ist der naheliegendste Weg, das umzusetzen. Ob das im Einzelfall rechtlich ausreicht, klären im Zweifel Juristen; technisch ist die robots.txt aber der Standardweg.

Serverlast

Aggressive Crawler erzeugen Traffic. Auf kleinen Servern oder WordPress-Installationen ohne Caching fällt das schnell auf: höhere Antwortzeiten, mehr Ressourcenverbrauch, im Extremfall ein träges Kontaktformular. Wer ohnehin Monitoring betreibt, sieht solche Muster in den Zugriffslogs.

Sichtbarkeit in KI-Antworten

Die Gegenseite: Wer alle KI-Bots sperrt, taucht in KI-generierten Antworten womöglich nicht mehr als Quelle auf. Für ein Ingenieurbüro in Dresden, das über Fachartikel Anfragen gewinnt, kann das ein Nachteil sein. Es gibt keine pauschal richtige Antwort – Sie sollten bewusst entscheiden, statt es dem Zufall zu überlassen.

Schritt für Schritt: KI-Crawler steuern

1. Ist-Zustand in den Logs prüfen

Bevor Sie Regeln schreiben, sollten Sie wissen, wer überhaupt zugreift. Auf einem Linux-Webserver mit nginx genügt ein Blick ins Zugriffslog:

grep -Eio "GPTBot|ClaudeBot|CCBot|Bytespider|PerplexityBot|meta-externalagent" \
  /var/log/nginx/access.log | sort | uniq -c | sort -rn

So sehen Sie, welche Bots in welcher Häufigkeit auftauchen. Bei Hosting-Paketen ohne Shell-Zugriff bieten viele Anbieter eine Logauswertung im Kundenbereich.

2. robots.txt anpassen

Die robots.txt im Hauptverzeichnis der Domain ist der erste Hebel. Ein Beispiel, das die Suche erlaubt und bekannte Trainings-Crawler ausschließt:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Wichtig: Die robots.txt ist eine Bitte, keine Sperre. Sie basiert auf dem Robots Exclusion Protocol (RFC 9309), und seriöse Anbieter halten sich daran – erzwingen lässt es sich damit nicht. Cloudflare hat außerdem eine Erweiterung namens Content Signals vorgeschlagen, mit der sich in der robots.txt pro Zweck (Suche, KI-Training) festlegen lässt, was erlaubt ist. Das ist ein Vorschlag eines Anbieters, kein etablierter Standard – prüfen Sie vor dem Einsatz, welche Crawler ihn tatsächlich auswerten.

3. Auf dem Server aktiv blockieren

Wer eine echte Sperre möchte, filtert am Webserver anhand des User-Agents. In nginx sieht das so aus:

map $http_user_agent $ki_trainings_bot {
    default 0;
    ~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent) 1;
}

server {
    # ... bestehende Konfiguration ...
    if ($ki_trainings_bot) {
        return 403;
    }
}

Auch das hat Grenzen: Der User-Agent ist eine Selbstauskunft und lässt sich fälschen. Bots, die sich tarnen, erwischen Sie so nicht.

4. WAF oder CDN einsetzen

Cloudflare und vergleichbare Dienste erkennen Bots nicht nur am Namen, sondern auch an Verhalten und Herkunft, und bieten Regeln zum Blockieren von KI-Crawlern per Klick. Wer bereits eine Web Application Firewall vor der Website betreibt, kann die Regeln dort zentral pflegen. Beachten Sie den Datenschutzaspekt: Ein CDN sieht den gesamten Datenverkehr Ihrer Website, das gehört in Ihr Verzeichnis der Verarbeitungstätigkeiten und in die Datenschutzerklärung.

5. Regeln regelmäßig prüfen

Neue Crawler kommen laufend hinzu, alte ändern ihre Namen. Planen Sie eine Kontrolle der robots.txt und der Logs ein, zum Beispiel einmal im Quartal – am besten zusammen mit den ohnehin anstehenden Website-Updates.

Was Sie nicht erwarten sollten

• Kein vollständiger Schutz: Was bereits gecrawlt wurde, lässt sich durch eine neue Regel nicht zurückholen.
• Kein Schutz für vertrauliche Inhalte: Alles, was Sie nicht öffentlich zeigen wollen, gehört hinter eine Anmeldung – nicht hinter eine robots.txt-Zeile. Eine robots.txt verrät Angreifern im Gegenteil, welche Pfade Sie verstecken wollen.
• Keine Garantie für die Google-Suche: Sperren Sie nur die dafür vorgesehenen Tokens und Bots und prüfen Sie nach jeder Änderung, ob Ihre Seiten weiterhin indexiert werden.

Sie suchen Unterstützung in Dresden?

Rexoma hilft KMU in Dresden, Sachsen und darüber hinaus bei der technischen Absicherung ihrer Website und Server. Wir werten Ihre Zugriffslogs aus, richten robots.txt, Webserver-Regeln und WAF so ein, dass Ihre Inhalte für Kunden sichtbar bleiben, und betreuen die Konfiguration laufend. Sprechen Sie uns an, wenn Sie wissen möchten, welche Crawler Ihre Seite gerade abrufen.

Häufige Fragen zu KI-Crawlern und Website-Schutz

Schadet das Blockieren von KI-Crawlern meinem Google-Ranking? Nicht, wenn Sie nur KI-spezifische Bots und Tokens wie GPTBot oder Google-Extended sperren und den normalen Googlebot zulassen. Prüfen Sie nach jeder Änderung in der Google Search Console, ob die Indexierung unverändert läuft.

Reicht die robots.txt aus, um KI-Training zu verhindern? Sie ist der Standardweg und wird von seriösen Anbietern beachtet, ist aber freiwillig. Für eine echte Sperre brauchen Sie zusätzlich Serverregeln oder eine WAF – und auch die können getarnte Bots nicht garantiert aussperren.

Sollte ich alle KI-Bots sperren? Nicht zwingend. Trainings-Crawler zu sperren und Such-Bots zuzulassen, ist für viele KMU ein sinnvoller Mittelweg: Ihre Inhalte werden nicht zum Training genutzt, können aber in KI-Suchen mit Quelle erscheinen.

Muss ich für Cloudflare Datenschutzvorgaben beachten? Ja. Ein CDN verarbeitet Verbindungsdaten Ihrer Besucher. Sie brauchen einen Auftragsverarbeitungsvertrag, einen Eintrag im Verarbeitungsverzeichnis und einen entsprechenden Hinweis in der Datenschutzerklärung.

Wie erkenne ich, ob KI-Crawler meine Website belasten? Werten Sie die Zugriffslogs nach User-Agents aus und achten Sie auf auffällig viele Anfragen einzelner Bots, besonders auf Seiten mit aufwendigen Datenbankabfragen. Ein Monitoring mit Alarmierung bei ungewöhnlicher Last hilft, solche Muster früh zu erkennen.