Wyszukiwarki

Crawlery wyszukiwarek

Te boty crawlują i indeksują strony dla wyszukiwarek. Decydują, które strony pojawiają się w wynikach wyszukiwania.

opisanych botów
47
respektuje robots.txt
15
publikuje weryfikację IP
5

Boty w tej kategorii

Aktywność crawlowania, 25 paź - 21 lis 2026 · Trend aktywności: Cloudflare Radar

O tej kategorii

Crawlery wyszukiwarek to fundament wyszukiwania internetowego. Systematycznie odwiedzają strony, analizują treści i budują indeks wyszukiwania, który zasila wyniki organiczne. Wiele z nich zasilają teraz również funkcje AI, takie jak AI Overviews i odpowiedzi Copilot.

Zablokuj całą kategorię: Wyszukiwarki

Reguły dla 14 botów z tej kategorii, które dokumentują token robots.txt. Botów bez tokenu nie da się w ten sposób wskazać.

robots.txt
# Wyszukiwarki
User-agent: Baiduspider
User-agent: bingbot
User-agent: DuckDuckBot
User-agent: Googlebot-Image
User-agent: Googlebot
User-agent: MojeekBot
User-agent: Qwantbot
User-agent: Slurp
User-agent: YandexBot
User-agent: jobswithgptcom-bot
User-agent: Linespider
User-agent: MRGbot
User-agent: Notabot
User-agent: SMTnetPMBot
Disallow: /

Lista oczekujących otwarta

Sprawdź, które z tych botów Cię odwiedzają

Can AI See It pokazuje, które boty z tego katalogu trafiają na Twoją stronę, które są fałszywe i co każda platforma daje w zamian.

Bez spamu. Tylko informacje o premierze.