User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren Scour RSS Bot in Ihren Live-Traffic-Daten:
-
ScourRSSBot/1.0 (+https://scour.ing/bot) -
Scour/1.0 (+https://scour.ing/bot) -
ScourBot/1.0 (+https://scour.ing/bot)
robots.txt-Regeln für Scour RSS Bot
Respektiert robots.txt: Nein
robots.txt hat bei nutzer-initiierten Bots eingeschränkte Wirkung
Scour RSS Bot wird durch Nutzeraktionen innerhalb der Produkte von Scour ausgelöst. Obwohl Scour angibt, robots.txt zu respektieren, arbeitet der Bot anders als autonome Crawler - er ruft bestimmte URLs auf Anfrage ab, anstatt Ihre Website systematisch zu durchsuchen. Traffic-Monitoring ist die einzige zuverlässige Methode, um das tatsächliche Verhalten zu überprüfen.
Benötigen Sie kontinuierliche Verifizierung für 487 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit: Every 900 Seconds
Anfragemuster: Sends 1 Request Per Feed, With If-Modified-Since And If-None-Match Headers For Conditional Requests
Zitate aus der offiziellen Dokumentation
Scour does not use website content to train AI models.
Scour does not follow the robots.txt exclusion list.
Warum Scour RSS Bot-Traffic überwachen?
Identifizieren und klassifizieren Sie unbekannte Crawler-Aktivitäten. Scour RSS Bot kann in Ihren Live-Traffic-Daten mit unterschiedlicher Häufigkeit auftauchen. Die Verfolgung seines Verhaltens hilft Ihnen, basierend auf tatsächlichen Daten zu entscheiden, ob Sie ihn erlauben, drosseln oder blockieren.
Schützen Sie Ihr Crawl-Budget. Jede Bot-Anfrage verbraucht Serverressourcen. Das Verständnis dessen, was Scour RSS Bot crawlt, hilft Ihnen, die wichtigen Crawler zu priorisieren.
Log-Verifizierung
So verifizieren Sie Scour RSS Bot-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Scour bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Hinweis: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für Scour RSS Bot nicht offiziell dokumentiert:
- JavaScript rendering behavior confirmation
Offizielle Dokumentation
Offizielle Scour RSS Bot-Dokumentation anzeigen scour.ingInformationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.