Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują MgidBot w ruchu na Twojej stronie:
-
MgidBot 1.0
Reguły robots.txt dla MgidBot
Respektuje robots.txt: Tak
Użyj poniższych reguł robots.txt, aby kontrolować dostęp MgidBot:
# Block MgidBot
User-agent: MgidBot
Disallow: /
# Allow MgidBot
User-agent: MgidBot
Allow: / Robots.txt to dyrektywa, nie bariera
MGID deklaruje, że MgidBot respektuje robots.txt. Jednak błędy konfiguracji, opóźnienia cache i przypadki brzegowe oznaczają, że Twoje dyrektywy nie zawsze mogą być przestrzegane. Weryfikacja na podstawie ruchu potwierdza, czy MgidBot faktycznie stosuje się do Twoich reguł.
Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość: Not Documented
Wzorzec żądań: Not Documented
Dlaczego warto śledzić ruch MgidBot?
Weryfikuj zachowanie crawlera systemu reklamowego. MgidBot ocenia Twoje strony pod kątem targetowania reklam, oceny jakości i zgodności z polityką.
Optymalizuj dostarczanie reklam. Jeśli MgidBot nie ma właściwego dostępu do pewnych stron, targetowanie i przychody z reklam mogą ucierpieć. Monitoring ruchu potwierdza dostępność.
Weryfikacja w logach
Aby zweryfikować ruch MgidBot w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez MGID)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla MgidBot:
- crawl frequency
- request pattern
- IP verification method
- JavaScript rendering
Oficjalna dokumentacja
Zobacz oficjalną dokumentację MgidBot mgid.comInformacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.