Suchmaschinen
Suchmaschinen-Crawler
Diese Bots crawlen und indexieren Webseiten für Suchmaschinen. Sie bestimmen, welche Seiten in den Suchergebnissen erscheinen.
- erfasste Bots
- 47
- beachten robots.txt
- 15
- veröffentlichen eine IP-Prüfung
- 5
Bots in dieser Kategorie
- Algolia Algolia Keine robots.txt-Zusage
- Baiduspider Baidu Beachtet robots.txt
- Bingbot Microsoft Beachtet robots.txt
- Cốc Cốc Coccoc Keine robots.txt-Zusage
- Coveo Bot Coveo Keine robots.txt-Zusage
- Dataprovider.com Dataprovider.com Keine robots.txt-Zusage
- DuckDuckBot DuckDuckGo Beachtet robots.txt
- Funnelback Squiz - FunnelBack Keine robots.txt-Zusage
- Google Images Google Beachtet robots.txt
- Google Videos Google Keine robots.txt-Zusage
- Googlebot Google Beachtet robots.txt
- Marginalia Search Marginalia Keine robots.txt-Zusage
- Mojeek Mojeek Beachtet robots.txt
- MSN Microsoft Keine robots.txt-Zusage
- Qwantbot Qwant Beachtet robots.txt
- Seekport SISTRIX Keine robots.txt-Zusage
- Seznam Seznam Keine robots.txt-Zusage
- Toutiao Bytedance Keine robots.txt-Zusage
- Yahoo Slurp Yahoo Beachtet robots.txt
- YandexBot Yandex Beachtet robots.txt
- Yeti Naver Keine robots.txt-Zusage
- ZoomInfo ZoomInfo Keine robots.txt-Zusage
- All Africa Crawler AllAfrica Global Media Keine Aktivitätsdaten Keine robots.txt-Zusage
- Baidu ADS Server Proxy Baidu Keine Aktivitätsdaten Keine robots.txt-Zusage
- Crawlson Crawlson Keine Aktivitätsdaten Beachtet robots.txt
- Daum Daum Keine Aktivitätsdaten Keine robots.txt-Zusage
- Freespoke Freespoke Keine Aktivitätsdaten Keine robots.txt-Zusage
- Gigabot Gigablast Keine Aktivitätsdaten Keine robots.txt-Zusage
- Google Scholar Google Keine Aktivitätsdaten Keine robots.txt-Zusage
- Hype Machine Hype Machine Keine Aktivitätsdaten Keine robots.txt-Zusage
- IbouBot Babbar Keine Aktivitätsdaten Keine robots.txt-Zusage
- jobswithgptcom-bot jobswithgptcom Keine Aktivitätsdaten Keine robots.txt-Zusage
- Kagi Bot Kagi Keine Aktivitätsdaten Keine robots.txt-Zusage
- Level9SearchBot Level 9 Keine Aktivitätsdaten Keine robots.txt-Zusage
- Linespider LINE Corporation Keine Aktivitätsdaten Beachtet robots.txt
- MagiBot Peak Labs Keine Aktivitätsdaten Keine robots.txt-Zusage
- Mars Finder Mars Flag Keine Aktivitätsdaten Beachtet robots.txt
- MRGbot MRG Web Services srl Keine Aktivitätsdaten Beachtet robots.txt
- Neevabot Neeva Keine Aktivitätsdaten Keine robots.txt-Zusage
- NewsNow NewsNowUK Keine Aktivitätsdaten Keine robots.txt-Zusage
- Notabot Helpfeel Keine Aktivitätsdaten Keine robots.txt-Zusage
- Potions Potions Keine Aktivitätsdaten Keine robots.txt-Zusage
- SiteSearch360 SEMKNOX GmbH Keine Aktivitätsdaten Keine robots.txt-Zusage
- SMTnet PM Bot SMTnet Keine Aktivitätsdaten Beachtet robots.txt
- Sogou Sogou Keine Aktivitätsdaten Keine robots.txt-Zusage
- Yahoo! JAPAN Yahoo! JAPAN Keine Aktivitätsdaten Beachtet robots.txt
- ZumBot Zum Internet Corp Keine Aktivitätsdaten Keine robots.txt-Zusage
Crawl-Aktivität, 25. Okt. - 21. Nov. 2026 · Aktivitätstrend: Cloudflare Radar
Über diese Kategorie
Suchmaschinen-Crawler sind das Fundament der Websuche. Sie besuchen systematisch Websites, analysieren Inhalte und erstellen den Suchindex, der organische Ergebnisse liefert. Viele speisen mittlerweile auch KI-Funktionen wie AI Overviews und Copilot-Antworten.
Die ganze Kategorie blockieren: Suchmaschinen
Regeln für die 14 Bots dieser Kategorie, die ein robots.txt-Token dokumentieren. Bots ohne Token lassen sich so nicht ansprechen.
# Suchmaschinen
User-agent: Baiduspider
User-agent: bingbot
User-agent: DuckDuckBot
User-agent: Googlebot-Image
User-agent: Googlebot
User-agent: MojeekBot
User-agent: Qwantbot
User-agent: Slurp
User-agent: YandexBot
User-agent: jobswithgptcom-bot
User-agent: Linespider
User-agent: MRGbot
User-agent: Notabot
User-agent: SMTnetPMBot
Disallow: / Warteliste offen
Sehen Sie, welche dieser Bots Sie besuchen
Can AI See It zeigt, welche Bots aus diesem Katalog Ihre Website besuchen, welche gefälscht sind und was jede Plattform zurückgibt.