KI-Trainings-Crawler
KI-Trainings-Crawler
Diese Bots crawlen Websites, um Trainingsdaten für KI-Modelle zu sammeln. Viele respektieren robots.txt - so behalten Sie die Kontrolle darüber, ob Ihre Inhalte für KI-Training verwendet werden.
- erfasste Bots
- 26
- beachten robots.txt
- 11
- veröffentlichen eine IP-Prüfung
- 4
Bots in dieser Kategorie
- Amazonbot Amazon Beachtet robots.txt
- Echobot Bot Echobox Keine robots.txt-Zusage
- Factset_spyderbot Factset Keine robots.txt-Zusage
- Google-CloudVertexBot Google Keine robots.txt-Zusage
- GoogleOther Google Keine robots.txt-Zusage
- GPTBot OpenAI Beachtet robots.txt
- ICC Crawler NICT Beachtet robots.txt
- Meta-ExternalAgent Meta Beachtet robots.txt
- PetalBot Huawei Beachtet robots.txt
- QualifiedBot Qualified.com, Inc. Keine robots.txt-Zusage
- SemrushBot-OCOB Semrush Keine robots.txt-Zusage
- ShapBot Parallel Keine robots.txt-Zusage
- Amazon Kendra Amazon Keine Aktivitätsdaten Keine robots.txt-Zusage
- Anchor Browser Anchor Keine Aktivitätsdaten Keine robots.txt-Zusage
- AwarioSmartBot Awario Keine Aktivitätsdaten Beachtet robots.txt
- Big Sur AI Big Sur AI Keine Aktivitätsdaten Keine robots.txt-Zusage
- Brandwatch Brandwatch Keine Aktivitätsdaten Beachtet robots.txt
- Ceramic TerraCotta Ceramic Keine Aktivitätsdaten Beachtet robots.txt
- ClaudeBot Anthropic Keine Aktivitätsdaten Beachtet robots.txt
- Cotoyogi Research Organization of Information and Systems Keine Aktivitätsdaten Beachtet robots.txt
- Google NotebookLM Google Keine Aktivitätsdaten Keine robots.txt-Zusage
- LINER Bot Liner Bot Keine Aktivitätsdaten Keine robots.txt-Zusage
- netEstate Imprint Crawler netEstate Keine Aktivitätsdaten Keine robots.txt-Zusage
- Novellum AI Crawl Novellum Keine Aktivitätsdaten Keine robots.txt-Zusage
- SemrushBotSwa SEMrush Keine Aktivitätsdaten Keine robots.txt-Zusage
- WARDBot WEBSPARK Keine Aktivitätsdaten Beachtet robots.txt
Crawl-Aktivität, 25. Okt. - 21. Nov. 2026 · Aktivitätstrend: Cloudflare Radar
Über diese Kategorie
KI-Trainings-Crawler laden Webseiten herunter, damit ihre Betreiber die Inhalte zum Training großer Sprachmodelle und anderer KI-Systeme nutzen können. Zu verstehen, welche Bots auf Ihrer Website aktiv sind - und ob sie Ihre Zugriffsregeln respektieren - ist der erste Schritt zur Kontrolle über die Nutzung Ihrer Inhalte.
Die ganze Kategorie blockieren: KI-Trainings-Crawler
Regeln für die 13 Bots dieser Kategorie, die ein robots.txt-Token dokumentieren. Bots ohne Token lassen sich so nicht ansprechen.
# KI-Trainings-Crawler
User-agent: Amazonbot
User-agent: GPTBot
User-agent: ICC-Crawler
User-agent: meta-externalagent
User-agent: PetalBot
User-agent: SemrushBot-OCOB
User-agent: AwarioSmartBot
User-agent: magpie-crawler
User-agent: TerraCotta
User-agent: ClaudeBot
User-agent: Cotoyogi
User-agent: LinerBot
User-agent: WARDBot
Disallow: / Warteliste offen
Sehen Sie, welche dieser Bots Sie besuchen
Can AI See It zeigt, welche Bots aus diesem Katalog Ihre Website besuchen, welche gefälscht sind und was jede Plattform zurückgibt.