Crawlery wyszukiwarek AI

Crawlery wyszukiwania AI

Te boty crawlują strony, aby zasilać wyniki wyszukiwania generowane przez AI. Pobierają Twoje treści, aby AI mogło je cytować w odpowiedziach.

opisanych botów
5
respektuje robots.txt
4
publikuje weryfikację IP
2

Boty w tej kategorii

Aktywność crawlowania, 25 paź - 21 lis 2026 · Trend aktywności: Cloudflare Radar

O tej kategorii

Crawlery wyszukiwania AI pobierają strony w czasie rzeczywistym, aby budować wyniki wyszukiwania oparte na AI. Gdy te boty uzyskują dostęp do Twoich treści, mogą one pojawić się jako źródło w odpowiedziach generowanych przez AI - czasem z linkiem do Twojej strony, czasem bez.

Zablokuj całą kategorię: Crawlery wyszukiwarek AI

Reguły dla 4 botów z tej kategorii, które dokumentują token robots.txt. Botów bez tokenu nie da się w ten sposób wskazać.

robots.txt
# Crawlery wyszukiwarek AI
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: Cloudflare-AutoRAG
User-agent: PerplexityBot
Disallow: /

Lista oczekujących otwarta

Sprawdź, które z tych botów Cię odwiedzają

Can AI See It pokazuje, które boty z tego katalogu trafiają na Twoją stronę, które są fałszywe i co każda platforma daje w zamian.

Bez spamu. Tylko informacje o premierze.