Crawlery treningowe AI

Crawlery treningowe AI

Te boty crawlują strony, aby zbierać dane treningowe dla modeli AI. Wiele z nich respektuje robots.txt - dając Ci kontrolę nad tym, czy Twoje treści są wykorzystywane do treningu AI.

opisanych botów
26
respektuje robots.txt
11
publikuje weryfikację IP
4

Boty w tej kategorii

Aktywność crawlowania, 25 paź - 21 lis 2026 · Trend aktywności: Cloudflare Radar

O tej kategorii

Crawlery treningowe AI pobierają strony internetowe, aby ich operatorzy mogli wykorzystać treści do treningu dużych modeli językowych i innych systemów AI. Zrozumienie, które boty są aktywne na Twojej stronie - i czy respektują Twoje reguły dostępu - to pierwszy krok w kontrolowaniu sposobu wykorzystania Twoich treści.

Zablokuj całą kategorię: Crawlery treningowe AI

Reguły dla 13 botów z tej kategorii, które dokumentują token robots.txt. Botów bez tokenu nie da się w ten sposób wskazać.

robots.txt
# Crawlery treningowe AI
User-agent: Amazonbot
User-agent: GPTBot
User-agent: ICC-Crawler
User-agent: meta-externalagent
User-agent: PetalBot
User-agent: SemrushBot-OCOB
User-agent: AwarioSmartBot
User-agent: magpie-crawler
User-agent: TerraCotta
User-agent: ClaudeBot
User-agent: Cotoyogi
User-agent: LinerBot
User-agent: WARDBot
Disallow: /

Lista oczekujących otwarta

Sprawdź, które z tych botów Cię odwiedzają

Can AI See It pokazuje, które boty z tego katalogu trafiają na Twoją stronę, które są fałszywe i co każda platforma daje w zamian.

Bez spamu. Tylko informacje o premierze.