Crawlery treningowe AI
Crawlery treningowe AI
Te boty crawlują strony, aby zbierać dane treningowe dla modeli AI. Wiele z nich respektuje robots.txt - dając Ci kontrolę nad tym, czy Twoje treści są wykorzystywane do treningu AI.
- opisanych botów
- 26
- respektuje robots.txt
- 11
- publikuje weryfikację IP
- 4
Boty w tej kategorii
- Amazonbot Amazon Respektuje robots.txt
- Echobot Bot Echobox Nie deklaruje respektowania robots.txt
- Factset_spyderbot Factset Nie deklaruje respektowania robots.txt
- Google-CloudVertexBot Google Nie deklaruje respektowania robots.txt
- GoogleOther Google Nie deklaruje respektowania robots.txt
- GPTBot OpenAI Respektuje robots.txt
- ICC Crawler NICT Respektuje robots.txt
- Meta-ExternalAgent Meta Respektuje robots.txt
- PetalBot Huawei Respektuje robots.txt
- QualifiedBot Qualified.com, Inc. Nie deklaruje respektowania robots.txt
- SemrushBot-OCOB Semrush Nie deklaruje respektowania robots.txt
- ShapBot Parallel Nie deklaruje respektowania robots.txt
- Amazon Kendra Amazon Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Anchor Browser Anchor Brak danych o aktywności Nie deklaruje respektowania robots.txt
- AwarioSmartBot Awario Brak danych o aktywności Respektuje robots.txt
- Big Sur AI Big Sur AI Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Brandwatch Brandwatch Brak danych o aktywności Respektuje robots.txt
- Ceramic TerraCotta Ceramic Brak danych o aktywności Respektuje robots.txt
- ClaudeBot Anthropic Brak danych o aktywności Respektuje robots.txt
- Cotoyogi Research Organization of Information and Systems Brak danych o aktywności Respektuje robots.txt
- Google NotebookLM Google Brak danych o aktywności Nie deklaruje respektowania robots.txt
- LINER Bot Liner Bot Brak danych o aktywności Nie deklaruje respektowania robots.txt
- netEstate Imprint Crawler netEstate Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Novellum AI Crawl Novellum Brak danych o aktywności Nie deklaruje respektowania robots.txt
- SemrushBotSwa SEMrush Brak danych o aktywności Nie deklaruje respektowania robots.txt
- WARDBot WEBSPARK Brak danych o aktywności Respektuje robots.txt
Aktywność crawlowania, 25 paź - 21 lis 2026 · Trend aktywności: Cloudflare Radar
O tej kategorii
Crawlery treningowe AI pobierają strony internetowe, aby ich operatorzy mogli wykorzystać treści do treningu dużych modeli językowych i innych systemów AI. Zrozumienie, które boty są aktywne na Twojej stronie - i czy respektują Twoje reguły dostępu - to pierwszy krok w kontrolowaniu sposobu wykorzystania Twoich treści.
Zablokuj całą kategorię: Crawlery treningowe AI
Reguły dla 13 botów z tej kategorii, które dokumentują token robots.txt. Botów bez tokenu nie da się w ten sposób wskazać.
# Crawlery treningowe AI
User-agent: Amazonbot
User-agent: GPTBot
User-agent: ICC-Crawler
User-agent: meta-externalagent
User-agent: PetalBot
User-agent: SemrushBot-OCOB
User-agent: AwarioSmartBot
User-agent: magpie-crawler
User-agent: TerraCotta
User-agent: ClaudeBot
User-agent: Cotoyogi
User-agent: LinerBot
User-agent: WARDBot
Disallow: / Lista oczekujących otwarta
Sprawdź, które z tych botów Cię odwiedzają
Can AI See It pokazuje, które boty z tego katalogu trafiają na Twoją stronę, które są fałszywe i co każda platforma daje w zamian.