Wyszukiwarki
Crawlery wyszukiwarek
Te boty crawlują i indeksują strony dla wyszukiwarek. Decydują, które strony pojawiają się w wynikach wyszukiwania.
- opisanych botów
- 47
- respektuje robots.txt
- 15
- publikuje weryfikację IP
- 5
Boty w tej kategorii
- Algolia Algolia Nie deklaruje respektowania robots.txt
- Baiduspider Baidu Respektuje robots.txt
- Bingbot Microsoft Respektuje robots.txt
- Cốc Cốc Coccoc Nie deklaruje respektowania robots.txt
- Coveo Bot Coveo Nie deklaruje respektowania robots.txt
- Dataprovider.com Dataprovider.com Nie deklaruje respektowania robots.txt
- DuckDuckBot DuckDuckGo Respektuje robots.txt
- Funnelback Squiz - FunnelBack Nie deklaruje respektowania robots.txt
- Google Images Google Respektuje robots.txt
- Google Videos Google Nie deklaruje respektowania robots.txt
- Googlebot Google Respektuje robots.txt
- Marginalia Search Marginalia Nie deklaruje respektowania robots.txt
- Mojeek Mojeek Respektuje robots.txt
- MSN Microsoft Nie deklaruje respektowania robots.txt
- Qwantbot Qwant Respektuje robots.txt
- Seekport SISTRIX Nie deklaruje respektowania robots.txt
- Seznam Seznam Nie deklaruje respektowania robots.txt
- Toutiao Bytedance Nie deklaruje respektowania robots.txt
- Yahoo Slurp Yahoo Respektuje robots.txt
- YandexBot Yandex Respektuje robots.txt
- Yeti Naver Nie deklaruje respektowania robots.txt
- ZoomInfo ZoomInfo Nie deklaruje respektowania robots.txt
- All Africa Crawler AllAfrica Global Media Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Baidu ADS Server Proxy Baidu Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Crawlson Crawlson Brak danych o aktywności Respektuje robots.txt
- Daum Daum Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Freespoke Freespoke Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Gigabot Gigablast Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Google Scholar Google Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Hype Machine Hype Machine Brak danych o aktywności Nie deklaruje respektowania robots.txt
- IbouBot Babbar Brak danych o aktywności Nie deklaruje respektowania robots.txt
- jobswithgptcom-bot jobswithgptcom Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Kagi Bot Kagi Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Level9SearchBot Level 9 Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Linespider LINE Corporation Brak danych o aktywności Respektuje robots.txt
- MagiBot Peak Labs Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Mars Finder Mars Flag Brak danych o aktywności Respektuje robots.txt
- MRGbot MRG Web Services srl Brak danych o aktywności Respektuje robots.txt
- Neevabot Neeva Brak danych o aktywności Nie deklaruje respektowania robots.txt
- NewsNow NewsNowUK Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Notabot Helpfeel Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Potions Potions Brak danych o aktywności Nie deklaruje respektowania robots.txt
- SiteSearch360 SEMKNOX GmbH Brak danych o aktywności Nie deklaruje respektowania robots.txt
- SMTnet PM Bot SMTnet Brak danych o aktywności Respektuje robots.txt
- Sogou Sogou Brak danych o aktywności Nie deklaruje respektowania robots.txt
- Yahoo! JAPAN Yahoo! JAPAN Brak danych o aktywności Respektuje robots.txt
- ZumBot Zum Internet Corp Brak danych o aktywności Nie deklaruje respektowania robots.txt
Aktywność crawlowania, 25 paź - 21 lis 2026 · Trend aktywności: Cloudflare Radar
O tej kategorii
Crawlery wyszukiwarek to fundament wyszukiwania internetowego. Systematycznie odwiedzają strony, analizują treści i budują indeks wyszukiwania, który zasila wyniki organiczne. Wiele z nich zasilają teraz również funkcje AI, takie jak AI Overviews i odpowiedzi Copilot.
Zablokuj całą kategorię: Wyszukiwarki
Reguły dla 14 botów z tej kategorii, które dokumentują token robots.txt. Botów bez tokenu nie da się w ten sposób wskazać.
# Wyszukiwarki
User-agent: Baiduspider
User-agent: bingbot
User-agent: DuckDuckBot
User-agent: Googlebot-Image
User-agent: Googlebot
User-agent: MojeekBot
User-agent: Qwantbot
User-agent: Slurp
User-agent: YandexBot
User-agent: jobswithgptcom-bot
User-agent: Linespider
User-agent: MRGbot
User-agent: Notabot
User-agent: SMTnetPMBot
Disallow: / Lista oczekujących otwarta
Sprawdź, które z tych botów Cię odwiedzają
Can AI See It pokazuje, które boty z tego katalogu trafiają na Twoją stronę, które są fałszywe i co każda platforma daje w zamian.