User-Agent-Identifikation
Die folgenden User-Agent-Strings identifizieren MagnetmeBot in Ihren Live-Traffic-Daten:
-
Magnet.me-web/1.0 (+https://magnet.me/bot.html)
robots.txt-Regeln für MagnetmeBot
Respektiert robots.txt: Ja
Verwenden Sie die folgenden robots.txt-Regeln, um den Zugriff von MagnetmeBot zu steuern:
# Block MagnetmeBot
User-agent: MagnetmeBot
Disallow: /
# Allow MagnetmeBot
User-agent: MagnetmeBot
Allow: / robots.txt ist eine Anweisung, keine Barriere
Magnet.me gibt an, dass MagnetmeBot robots.txt respektiert. Allerdings können Konfigurationsfehler, Caching-Verzögerungen und Sonderfälle dazu führen, dass Ihre Anweisungen nicht immer wie erwartet befolgt werden. Live-Traffic-Verifizierung bestätigt, ob MagnetmeBot Ihre Regeln in der Praxis tatsächlich einhält.
Benötigen Sie kontinuierliche Verifizierung für 487 Bots? Can AI See It automatisiert dies.
Crawl-Verhalten
Häufigkeit: Automatic Crawl Speed Adjustment
Anfragemuster: Focuses On The Main Version Of A Page (Canonical Version), Follows Links, And Scrolls
JavaScript-Rendering: Ja - dieser Bot kann JavaScript ausführen und Seiten rendern.
Zitate aus der offiziellen Dokumentation
MagnetmeBot is the official web crawler used by Magnet.me to discover and index career-related content.
Warum MagnetmeBot-Traffic überwachen?
Identifizieren und klassifizieren Sie unbekannte Crawler-Aktivitäten. MagnetmeBot kann in Ihren Live-Traffic-Daten mit unterschiedlicher Häufigkeit auftauchen. Die Verfolgung seines Verhaltens hilft Ihnen, basierend auf tatsächlichen Daten zu entscheiden, ob Sie ihn erlauben, drosseln oder blockieren.
Schützen Sie Ihr Crawl-Budget. Jede Bot-Anfrage verbraucht Serverressourcen. Das Verständnis dessen, was MagnetmeBot crawlt, hilft Ihnen, die wichtigen Crawler zu priorisieren.
Log-Verifizierung
So verifizieren Sie MagnetmeBot-Traffic in Ihren Live-Traffic-Daten:
- Durchsuchen Sie Zugriffsprotokolle nach den oben aufgeführten User-Agent-Strings
- Prüfen Sie, ob die IP-Adressen mit dokumentierten Bereichen übereinstimmen (falls von Magnet.me bereitgestellt)
- Verifizieren Sie, ob das Crawl-Muster dem dokumentierten Verhalten entspricht
- Verwenden Sie Reverse-DNS-Lookup zur zusätzlichen Verifizierung, falls verfügbar
IP-Verifizierung: Magnet.me bietet eine offizielle IP-Verifizierung über Published IP ranges an. Verifizierungsanleitung anzeigen →
IP addresses are published for verification
Hinweis: Das beobachtete Verhalten in Produktionsumgebungen kann von der offiziellen Dokumentation abweichen. Live-Traffic-Monitoring bietet die einzige zuverlässige Verifizierung des tatsächlichen Bot-Verhaltens.
Undokumentierte Informationen
Die folgenden Informationen sind für MagnetmeBot nicht offiziell dokumentiert:
- crawl delay configuration
Offizielle Dokumentation
Offizielle MagnetmeBot-Dokumentation anzeigen magnet.meInformationen stammen aus der offiziellen Dokumentation. Inhalt mit KI-Unterstützung erstellt.