User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren New York Times Newsgathering in Ihren Live-Traffic-Daten:
-
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 nyt_scraping/[email protected]
robots.txt-Regeln für New York Times Newsgathering
Respektiert robots.txt: Nein
robots.txt hat bei nutzer-initiierten Bots eingeschränkte Wirkung
New York Times Newsgathering wird durch Nutzeraktionen innerhalb der Produkte von The New York Times ausgelöst. Obwohl The New York Times angibt, robots.txt zu respektieren, arbeitet der Bot anders als autonome Crawler - er ruft bestimmte URLs auf Anfrage ab, anstatt Ihre Website systematisch zu durchsuchen. Traffic-Monitoring ist die einzige zuverlässige Methode, um das tatsächliche Verhalten zu überprüfen.
Benötigen Sie kontinuierliche Verifizierung für 487 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit: Not Documented
Anfragemuster: Not Documented
Zitate aus der offiziellen Dokumentation
Coders within The New York Times newsroom write scripts and scrapers that collect public, non-copyright data from government and commercial websites, ranging from archival tasks to public-service data like our U.S. Elections pages and Covid-19 trackers.
We bake-in industry best practices like controlling the volume of requests, throttling/concurrency and identifying our work with custom UserAgents and X-headers.
Warum New York Times Newsgathering-Traffic überwachen?
Identifizieren und klassifizieren Sie unbekannte Crawler-Aktivitäten. New York Times Newsgathering kann in Ihren Live-Traffic-Daten mit unterschiedlicher Häufigkeit auftauchen. Die Verfolgung seines Verhaltens hilft Ihnen, basierend auf tatsächlichen Daten zu entscheiden, ob Sie ihn erlauben, drosseln oder blockieren.
Schützen Sie Ihr Crawl-Budget. Jede Bot-Anfrage verbraucht Serverressourcen. Das Verständnis dessen, was New York Times Newsgathering crawlt, hilft Ihnen, die wichtigen Crawler zu priorisieren.
Log-Verifizierung
So verifizieren Sie New York Times Newsgathering-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von The New York Times bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
Hinweis: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für New York Times Newsgathering nicht offiziell dokumentiert:
- crawl frequency
- request pattern
- JavaScript rendering details
Offizielle Dokumentation
Offizielle New York Times Newsgathering-Dokumentation anzeigen int.nyt.comInformationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.