Wer trainiert eigentlich
auf deinen Inhalten?
Trag deine Domain ein — der Check liest deine robots.txt und zeigt, welche AI-Crawler du bewusst erlaubst oder blockst und welche du schlicht durch Default freigibst. In zwei Sekunden.
Wer trainiert auf deiner Website? Das prüft der Check
Der Check liest deine robots.txt und deine Server-Antworten und zeigt, welche AI-Crawler auf deine Inhalte zugreifen dürfen — GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), CCBot (Common Crawl), PerplexityBot und weitere. Für jeden Bot siehst du: erlaubt, blockiert oder nicht geregelt.
Das ist eine strategische Entscheidung, keine rein technische. Blockierst du alles, tauchen deine Inhalte seltener in KI-Antworten auf — die für immer mehr Kaufentscheidungen den ersten Kontakt darstellen. Erlaubst du alles, geben deine Inhalte auch Trainingsdaten her. Viele Betriebe fahren bewusst differenziert: Suche und KI-Antworten ja, Training nein.
Das Ergebnis zeigt dir den Ist-Zustand und wo deine robots.txt von deiner Absicht abweicht. Wie eine sinnvolle Regelung für dein Geschäftsmodell aussieht, klären wir bei Bedarf im kostenlosen Erstgespräch.
Häufige Fragen
Hält sich jeder Bot an robots.txt?
Die großen Anbieter (OpenAI, Anthropic, Google) dokumentieren ihre Crawler und halten sich an die Regeln. Einzelne kleinere Scraper ignorieren robots.txt — dagegen helfen nur serverseitige Maßnahmen.
Sollte ich AI-Crawler blockieren?
Kommt auf dein Ziel an. Wer über KI-Suche gefunden werden will, sollte Antwort-Crawler zulassen. Wer exklusive Inhalte schützt, blockiert Training gezielt. Beides gleichzeitig ist möglich — die Bots unterscheiden sich nach Zweck.
Was ist der Unterschied zwischen Training und Suche?
Trainings-Crawler (z. B. GPTBot) sammeln Inhalte, um Modelle zu trainieren. Such-Crawler (z. B. OAI-SearchBot) holen Inhalte live, um sie in Antworten zu zitieren und zu verlinken — Letzteres bringt dir direkt Besucher.