Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują deadlinkchecker w ruchu na Twojej stronie:
-
www.deadlinkchecker.com Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36
Reguły robots.txt dla deadlinkchecker
Respektuje robots.txt: Nie
Ten bot nie zobowiązuje się do przestrzegania robots.txt
deadlinkchecker oficjalnie nie przestrzega dyrektyw robots.txt. Jedynym niezawodnym sposobem kontroli dostępu jest blokowanie po stronie serwera (filtrowanie IP, reguły user-agent w konfiguracji serwera) w połączeniu z monitoringiem logów.
Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość: On-Demand And Scheduled
Wzorzec żądań: Crawls Through Websites To Identify Broken Links
Cytaty z oficjalnej dokumentacji
... I tried three different link checkers online and yours was by far the easiest to use and produced the most useful report data.
Dlaczego warto śledzić ruch deadlinkchecker?
Odróżniaj ruch monitorujący od rzeczywistej aktywności crawlerów. deadlinkchecker sprawdza dostępność Twojej strony w regularnych interwałach. Bez właściwej identyfikacji te żądania mogą zawyżać metryki ruchu botów.
Weryfikuj pokrycie monitoringu. Śledź, które strony deadlinkchecker sprawdza i jak często, aby konfiguracja monitoringu odpowiadała wymaganiom infrastruktury.
Weryfikacja w logach
Aby zweryfikować ruch deadlinkchecker w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez DLC Websites)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla deadlinkchecker:
- crawl frequency details
- IP verification method
- JavaScript rendering capability
Oficjalna dokumentacja
Zobacz oficjalną dokumentację deadlinkchecker deadlinkchecker.comInformacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.