Suchmaschinen

Suchmaschinen-Crawler

Diese Bots crawlen und indexieren Webseiten für Suchmaschinen. Sie bestimmen, welche Seiten in den Suchergebnissen erscheinen.

erfasste Bots
47
beachten robots.txt
15
veröffentlichen eine IP-Prüfung
5

Bots in dieser Kategorie

Crawl-Aktivität, 25. Okt. - 21. Nov. 2026 · Aktivitätstrend: Cloudflare Radar

Über diese Kategorie

Suchmaschinen-Crawler sind das Fundament der Websuche. Sie besuchen systematisch Websites, analysieren Inhalte und erstellen den Suchindex, der organische Ergebnisse liefert. Viele speisen mittlerweile auch KI-Funktionen wie AI Overviews und Copilot-Antworten.

Die ganze Kategorie blockieren: Suchmaschinen

Regeln für die 14 Bots dieser Kategorie, die ein robots.txt-Token dokumentieren. Bots ohne Token lassen sich so nicht ansprechen.

robots.txt
# Suchmaschinen
User-agent: Baiduspider
User-agent: bingbot
User-agent: DuckDuckBot
User-agent: Googlebot-Image
User-agent: Googlebot
User-agent: MojeekBot
User-agent: Qwantbot
User-agent: Slurp
User-agent: YandexBot
User-agent: jobswithgptcom-bot
User-agent: Linespider
User-agent: MRGbot
User-agent: Notabot
User-agent: SMTnetPMBot
Disallow: /

Warteliste offen

Sehen Sie, welche dieser Bots Sie besuchen

Can AI See It zeigt, welche Bots aus diesem Katalog Ihre Website besuchen, welche gefälscht sind und was jede Plattform zurückgibt.

Kein Spam. Nur Updates zum Launch.