User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren webpagetest in Ihren Live-Traffic-Daten:
-
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0 monitor/webpagetest PTST/190827.180809 -
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36 monitor/webpagetest PTST/190827.180809
robots.txt-Regeln für webpagetest
Respektiert robots.txt: Nein
Dieser Bot verpflichtet sich nicht, robots.txt zu befolgen
webpagetest befolgt robots.txt-Anweisungen nicht offiziell. Die einzige zuverlässige Methode zur Zugriffskontrolle ist serverseitiges Blockieren (IP-Filterung, User-Agent-Regeln in Ihrer Webserver-Konfiguration) in Kombination mit Log-Monitoring zur Wirksamkeitsüberprüfung.
Benötigen Sie kontinuierliche Verifizierung für 487 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit: Not Documented
Anfragemuster: Not Documented
Warum webpagetest-Traffic überwachen?
Unterscheiden Sie Monitoring-Traffic von echten Crawler-Aktivitäten. webpagetest prüft die Verfügbarkeit Ihrer Website in regelmäßigen Abständen. Ohne korrekte Identifikation können diese Anfragen Ihre Bot-Traffic-Metriken aufblähen und die Crawl-Analyse verfälschen.
Validieren Sie die Monitoring-Abdeckung. Verfolgen Sie, welche Seiten webpagetest wie häufig prüft, damit Ihr Monitoring-Setup Ihren Infrastrukturanforderungen entspricht.
Log-Verifizierung
So verifizieren Sie webpagetest-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von WebPageTest bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Hinweis: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für webpagetest nicht offiziell dokumentiert:
- crawl frequency
- IP verification
- JavaScript rendering
- request pattern
Offizielle Dokumentation
Offizielle webpagetest-Dokumentation anzeigen webpagetest.orgInformationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.