User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren NostoCrawlerBot in Ihren Live-Traffic-Daten:
-
Mozilla/5.0 (compatible; NostoCrawlerBot/1.0; +http://my.nosto.com/tagging)
robots.txt-Regeln für NostoCrawlerBot
Respektiert robots.txt: Nein
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von NostoCrawlerBot zu steuern:
# Block NostoCrawlerBot
User-agent: NostoCrawlerBot
Disallow: /
# Allow NostoCrawlerBot
User-agent: NostoCrawlerBot
Allow: / Dieser Bot verpflichtet sich nicht, robots.txt zu befolgen
NostoCrawlerBot befolgt robots.txt-Anweisungen nicht offiziell. Die einzige zuverlässige Methode zur Zugriffskontrolle ist serverseitiges Blockieren (IP-Filterung, User-Agent-Regeln in Ihrer Webserver-Konfiguration) in Kombination mit Log-Monitoring zur Wirksamkeitsüberprüfung.
Benötigen Sie kontinuierliche Verifizierung für 487 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit: Not Documented
Anfragemuster: Not Documented
Zitate aus der offiziellen Dokumentation
Mozilla/5.0 (compatible; NostoCrawlerBot/1.0; +http://my.nosto.com/tagging)
Warum NostoCrawlerBot-Traffic überwachen?
Überprüfen Sie das Crawl-Verhalten des Werbesystems. NostoCrawlerBot bewertet Ihre Seiten für Anzeigen-Targeting, Qualitätsbewertung und Richtlinien-Compliance.
Optimieren Sie die Anzeigenauslieferung. Wenn NostoCrawlerBot bestimmte Seiten nicht korrekt aufrufen kann, können Anzeigen-Targeting und Einnahmen beeinträchtigt werden. Traffic-Monitoring bestätigt die Erreichbarkeit.
Log-Verifizierung
So verifizieren Sie NostoCrawlerBot-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Nosto bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
IP-Verifizierung: Nosto bietet eine offizielle IP-Verifizierung über Published IP ranges an. Verifizierungsanleitung anzeigen →
IP addresses listed under the property 'crawler'
Hinweis: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für NostoCrawlerBot nicht offiziell dokumentiert:
- crawl frequency
- request pattern
- JavaScript rendering
Offizielle Dokumentation
Offizielle NostoCrawlerBot-Dokumentation anzeigen help.nosto.comInformationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.