Offener Bot-Katalog

Verzeichnis für KI-Bots und Webcrawler

487 Bots von 392 Betreibern, mit User-Agent-Strings, robots.txt-Regeln und Prüfschritten. Kostenlos, ohne Anmeldung.

erfasste Bots
487
Betreiber
392
KI-Bots
40
beachten robots.txt
70

KI-Trainings-Crawler 26

Training von KI-Modellen

Kategorie-Ratgeber

KI-Assistenten 9

Inhaltsabruf für KI-Assistenten

Kategorie-Ratgeber

Suchmaschinen 47

Suchindexierung

Kategorie-Ratgeber

SEO-Tools 58

SEO-Analyse

Social-Media-Bots 35

Linkvorschau-Generierung

Monitoring-Bots 107

Website-Monitoring

Web-Archive 3

Web-Archivierung

Werbe-Bots 38

Werbeverifizierung

Sicherheitsscanner 31

Sicherheitsscans

Sonstige Bots 128

Web-Crawling

So entsteht dieser Katalog

Die Profile erstellen wir KI-gestützt aus dem, was Betreiber veröffentlichen: Dokumentation, Hilfeartikel und Bot-Infoseiten. Wo es eine Quelle gibt, verlinkt das Profil darauf, und alles, was der Betreiber nicht dokumentiert, kennzeichnen wir als unbekannt.

Warteliste offen

Sehen Sie, welche dieser Bots Sie besuchen

Can AI See It zeigt, welche Bots aus diesem Katalog Ihre Website besuchen, welche gefälscht sind und was jede Plattform zurückgibt.

Kein Spam. Nur Updates zum Launch.