KI-Trainings-Crawler

KI-Trainings-Crawler

Diese Bots crawlen Websites, um Trainingsdaten für KI-Modelle zu sammeln. Viele respektieren robots.txt - so behalten Sie die Kontrolle darüber, ob Ihre Inhalte für KI-Training verwendet werden.

erfasste Bots
26
beachten robots.txt
11
veröffentlichen eine IP-Prüfung
4

Bots in dieser Kategorie

Crawl-Aktivität, 25. Okt. - 21. Nov. 2026 · Aktivitätstrend: Cloudflare Radar

Über diese Kategorie

KI-Trainings-Crawler laden Webseiten herunter, damit ihre Betreiber die Inhalte zum Training großer Sprachmodelle und anderer KI-Systeme nutzen können. Zu verstehen, welche Bots auf Ihrer Website aktiv sind - und ob sie Ihre Zugriffsregeln respektieren - ist der erste Schritt zur Kontrolle über die Nutzung Ihrer Inhalte.

Die ganze Kategorie blockieren: KI-Trainings-Crawler

Regeln für die 13 Bots dieser Kategorie, die ein robots.txt-Token dokumentieren. Bots ohne Token lassen sich so nicht ansprechen.

robots.txt
# KI-Trainings-Crawler
User-agent: Amazonbot
User-agent: GPTBot
User-agent: ICC-Crawler
User-agent: meta-externalagent
User-agent: PetalBot
User-agent: SemrushBot-OCOB
User-agent: AwarioSmartBot
User-agent: magpie-crawler
User-agent: TerraCotta
User-agent: ClaudeBot
User-agent: Cotoyogi
User-agent: LinerBot
User-agent: WARDBot
Disallow: /

Warteliste offen

Sehen Sie, welche dieser Bots Sie besuchen

Can AI See It zeigt, welche Bots aus diesem Katalog Ihre Website besuchen, welche gefälscht sind und was jede Plattform zurückgibt.

Kein Spam. Nur Updates zum Launch.