Crawlery wyszukiwarek AI
Crawlery wyszukiwania AI
Te boty crawlują strony, aby zasilać wyniki wyszukiwania generowane przez AI. Pobierają Twoje treści, aby AI mogło je cytować w odpowiedziach.
- opisanych botów
- 5
- respektuje robots.txt
- 4
- publikuje weryfikację IP
- 2
Boty w tej kategorii
- Applebot Apple Respektuje robots.txt
- Bravebot Brave Software, Inc. Nie deklaruje respektowania robots.txt
- OAI-SearchBot OpenAI Respektuje robots.txt
- AutoRAG Cloudflare Brak danych o aktywności Respektuje robots.txt
- PerplexityBot Perplexity AI Brak danych o aktywności Respektuje robots.txt
Aktywność crawlowania, 25 paź - 21 lis 2026 · Trend aktywności: Cloudflare Radar
O tej kategorii
Crawlery wyszukiwania AI pobierają strony w czasie rzeczywistym, aby budować wyniki wyszukiwania oparte na AI. Gdy te boty uzyskują dostęp do Twoich treści, mogą one pojawić się jako źródło w odpowiedziach generowanych przez AI - czasem z linkiem do Twojej strony, czasem bez.
Zablokuj całą kategorię: Crawlery wyszukiwarek AI
Reguły dla 4 botów z tej kategorii, które dokumentują token robots.txt. Botów bez tokenu nie da się w ten sposób wskazać.
# Crawlery wyszukiwarek AI
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: Cloudflare-AutoRAG
User-agent: PerplexityBot
Disallow: / Lista oczekujących otwarta
Sprawdź, które z tych botów Cię odwiedzają
Can AI See It pokazuje, które boty z tego katalogu trafiają na Twoją stronę, które są fałszywe i co każda platforma daje w zamian.