User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren Parse.ly in Ihren Live-Traffic-Daten:
-
Mozilla/5.0 (compatible; parse.ly scraper/0.16; +http://parsely.com)
robots.txt-Regeln für Parse.ly
Respektiert robots.txt: Ja
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von Parse.ly zu steuern:
# Block Parse.ly
User-agent: parse.ly scraper
Disallow: /
# Allow Parse.ly
User-agent: parse.ly scraper
Allow: / robots.txt ist eine Anweisung, keine Barriere
Parse.ly gibt an, dass Parse.ly robots.txt respektiert. Allerdings können Konfigurationsfehler, Caching-Verzögerungen und Sonderfälle dazu führen, dass Ihre Anweisungen nicht immer wie erwartet befolgt werden. Live-Traffic-Verifizierung bestätigt, ob Parse.ly Ihre Regeln in der Praxis tatsächlich einhält.
Benötigen Sie kontinuierliche Verifizierung für 487 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit: Not Documented
Anfragemuster: Not Documented
Zitate aus der offiziellen Dokumentation
If you have an editorial team creating content daily that needs feedback on the performance of that content, then Parse.ly is the number one tool for the job.
Parse.ly is the tool that makes it fun, simple, easy, and not scary to get data—you want to start using it on a daily basis.
Warum Parse.ly-Traffic überwachen?
Unterscheiden Sie Monitoring-Traffic von echten Crawler-Aktivitäten. Parse.ly prüft die Verfügbarkeit Ihrer Website in regelmäßigen Abständen. Ohne korrekte Identifikation können diese Anfragen Ihre Bot-Traffic-Metriken aufblähen und die Crawl-Analyse verfälschen.
Validieren Sie die Monitoring-Abdeckung. Verfolgen Sie, welche Seiten Parse.ly wie häufig prüft, damit Ihr Monitoring-Setup Ihren Infrastrukturanforderungen entspricht.
Log-Verifizierung
So verifizieren Sie Parse.ly-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Parse.ly bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Hinweis: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für Parse.ly nicht offiziell dokumentiert:
- crawl frequency
- request pattern
- IP verification method
- JavaScript rendering
Offizielle Dokumentation
Offizielle Parse.ly-Dokumentation anzeigen parse.lyInformationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.