User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren Internet Archive Bot in Ihren Live-Traffic-Daten:
-
Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot) -
Mozilla/5.0 (compatible; special_archiver/3.1.1 +http://www.archive.org/details/archive.org_bot)
robots.txt-Regeln für Internet Archive Bot
Respektiert robots.txt: Ja
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von Internet Archive Bot zu steuern:
# Block Internet Archive Bot
User-agent: archive.org_bot
Disallow: /
# Allow Internet Archive Bot
User-agent: archive.org_bot
Allow: / robots.txt ist eine Anweisung, keine Barriere
Internet Archive gibt an, dass Internet Archive Bot robots.txt respektiert. Allerdings können Konfigurationsfehler, Caching-Verzögerungen und Sonderfälle dazu führen, dass Ihre Anweisungen nicht immer wie erwartet befolgt werden. Live-Traffic-Verifizierung bestätigt, ob Internet Archive Bot Ihre Regeln in der Praxis tatsächlich einhält.
Benötigen Sie kontinuierliche Verifizierung für 487 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Anfragemuster: Nicht dokumentiert
Crawl-Aktivitätsindex
Relative Crawl-Aktivität von Internet Archive Bot der letzten 28 Tage. Höhere Werte zeigen eine erhöhte Crawl-Intensität im Vergleich zum Basiszeitraum an.
Aktuelle Aktivitätsdaten anzeigen (letzte 7 Tage)
| Datum | Aktivitätsindex |
|---|---|
| 21. Nov. 2026 | 74,5 |
| 20. Nov. 2026 | 89,2 |
| 19. Nov. 2026 | 91,7 |
| 18. Nov. 2026 | 97,8 |
| 17. Nov. 2026 | 90,7 |
| 16. Nov. 2026 | 76,5 |
| 15. Nov. 2026 | 79,8 |
Quelle: Cloudflare Radar
Warum Internet Archive Bot-Traffic überwachen?
Verfolgen Sie, was archiviert wird. Internet Archive Bot archiviert Ihre Inhalte für die langfristige Aufbewahrung. Die Überwachung zeigt, welche Seiten erfasst werden und wie häufig.
Kontrollieren Sie, was archiviert wird. Wenn bestimmte Seiten veraltete Preise oder Inhalte enthalten, die Sie nicht dauerhaft zugänglich machen möchten, hilft die Überwachung von Internet Archive Bot bei der Anwendung von Kontrollen.
Log-Verifizierung
So verifizieren Sie Internet Archive Bot-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Internet Archive bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Hinweis: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Offizielle Dokumentation
Offizielle Internet Archive Bot-Dokumentation anzeigen archive.orgInformationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.