Zum Hauptinhalt springen
Can AI see it

Erfahre, was KI sieht. Miss, was es wert ist.

← Zurück zum Bot-Katalog

Was ist Cloudflare Prefetch?

Kurzantwort: Cloudflare Prefetch ist ein von Cloudflare betriebener Bot für das Vorab-Abrufen von URLs, um Cache-Trefferraten und die Benutzererfahrung zu verbessern.

Betreiber: Cloudflare Typ: SEO-Tool Zweck: Vorab-Abrufen von URLs zur Leistungsoptimierung

Cloudflare Prefetch ist ein Bot, der den Cache mit Inhalten vorbefüllt, die ein Besucher wahrscheinlich als Nächstes anfordert. Dies führt zu einer höheren Cache-Trefferrate und damit zu einer schnelleren Benutzererfahrung. Der user-agent des Bots lautet 'Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)'.

User-Agent-Identifikation

Die folgenden User-Agent-Strings identifizieren Cloudflare Prefetch in Ihren Live-Traffic-Daten:

  • Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)

robots.txt-Regeln für Cloudflare Prefetch

Respektiert robots.txt: Nein

Dieser Bot verpflichtet sich nicht, robots.txt zu befolgen

Cloudflare Prefetch befolgt robots.txt-Anweisungen nicht offiziell. Die einzige zuverlässige Methode zur Zugriffskontrolle ist serverseitiges Blockieren (IP-Filterung, User-Agent-Regeln in Ihrer Webserver-Konfiguration) in Kombination mit Log-Monitoring zur Wirksamkeitsüberprüfung.

Benötigen Sie kontinuierliche Verifizierung für über 500 Bots? Can AI See It automatisiert dies.

Crawl-Verhalten

Häufigkeit:Continuous

Anfragemuster:Prefetching URLs Likely To Be Requested Next

Zitate aus der offiziellen Dokumentation

"URL prefetching means that Cloudflare pre-populates the cache with content a visitor is likely to request next."

Warum Cloudflare Prefetch-Traffic überwachen?

Kontrollieren Sie die Server-Auswirkungen durch Drittanbieter-Crawling. Cloudflare Prefetch crawlt Ihre Website, um die SEO-Datenbank von Cloudflare aufzubauen. Obwohl nützlich für Wettbewerbsanalysen, können diese Crawler auf großen Websites erhebliche Serverressourcen verbrauchen.

Identifizieren Sie, wer Ihre Website analysiert. Cloudflare Prefetch-Besuche zeigen, wenn Wettbewerber oder Agenturen Audits auf Ihrer Domain durchführen.

Verwalten Sie die Crawl-Priorität. Wenn Cloudflare Prefetch Crawl-Budget verbraucht, das Sie lieber Suchmaschinen zuweisen würden, können Sie es basierend auf gemessenem Volumen drosseln oder blockieren.

Decken Sie 4XX- und 5XX-Fehler auf, bevor Suchmaschinen sie finden. Wenn Cloudflare Prefetch in seinen Crawl-Daten fehlerhafte Seiten oder Serverfehler meldet, können Sie diese Probleme proaktiv beheben — bevor Suchmaschinen-Crawler darauf stoßen und Ihre Rankings leiden.

Lohnt sich Cloudflare Prefetch die Serverressourcen?

Cloudflare Prefetch crawlt Ihre Website, um die SEO-Datenbank von Cloudflare aufzubauen. Anders als Suchmaschinen sendet Ihnen dieser Crawler keinen Referral-Traffic — er speist ein Drittanbieter-Tool.

Das ist nicht unbedingt ein Problem — die Daten von Cloudflare können Tools unterstützen, die Sie selbst nutzen. Die Frage ist, ob das Crawl-Volumen von Cloudflare Prefetch in einem angemessenen Verhältnis zum Nutzen steht.

Was Can AI See It misst

Crawl-Volumen

Anfragen pro Tag und von Cloudflare Prefetch verbrauchte Bandbreite

Ressourcenanteil

Welchen Prozentsatz Ihres gesamten Bot-Traffics macht Cloudflare Prefetch aus?

Fake-Bot-Erkennung

Scraper, die den User-Agent-String von Cloudflare Prefetch fälschen

Log-Verifizierung

So verifizieren Sie Cloudflare Prefetch-Traffic in Ihren Live-Traffic-Daten:

  1. Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
  2. Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Cloudflare bereitgestellt)
  3. Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
  4. Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar

IP-Verifizierung: Cloudflare bietet eine offizielle IP-Verifizierung über Published IP ranges an. Verifizierungsanleitung anzeigen →

Cloudflare's IP ranges are published for verification

Note: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.

Undokumentierte Informationen

Die folgenden Informationen sind für Cloudflare Prefetch nicht offiziell dokumentiert:

  • crawl delay
  • JavaScript rendering details

Sehen Sie, welche SEO-Tools Ihre Website crawlen — und was sie kosten

  • Drittanbieter-Crawler identifizieren, die Ihre Serverressourcen verbrauchen
  • SEO-Tool-Traffic von Suchmaschinen-Crawls trennen
  • Fake-Bots erkennen, die den User-Agent von Cloudflare Prefetch fälschen
Jetzt kostenlos messen → So funktioniert es →

Offizielle Dokumentation

Offizielle Cloudflare Prefetch-Dokumentation anzeigen →

Informationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.