Czym jest InternetArchiveBot?

Krótka odpowiedź

InternetArchiveBot to bot monitorujący obsługiwany przez Internet Archive, który sprawdza odwołania URL na Wikipedii pod kątem niedziałających linków.

User-Agent
IABot/2.0 (+https://meta.wikimedia.org/wiki/InternetArchiveBot/FAQ_for_sysadmins) (Checking if link from Wikipedia is broken and needs removal)

InternetArchiveBot wyszukuje odwołania URL na Wikipedii i ocenia, czy URL nadal działa, czy zwraca 404. Jest obsługiwany przez Internet Archive i używany do monitorowania niedziałających linków na Wikipedii.

Identyfikacja User-Agent

Następujące ciągi user-agent identyfikują InternetArchiveBot w ruchu na Twojej stronie:

  • IABot/2.0 (+https://meta.wikimedia.org/wiki/InternetArchiveBot/FAQ_for_sysadmins) (Checking if link from Wikipedia is broken and needs removal)

Reguły robots.txt dla InternetArchiveBot

Respektuje robots.txt: Nie

Ten bot nie zobowiązuje się do przestrzegania robots.txt

InternetArchiveBot oficjalnie nie przestrzega dyrektyw robots.txt. Jedynym niezawodnym sposobem kontroli dostępu jest blokowanie po stronie serwera (filtrowanie IP, reguły user-agent w konfiguracji serwera) w połączeniu z monitoringiem logów.

Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.

Zachowanie crawlera

Częstotliwość: Not Documented

Wzorzec żądań: Checks URL References On Wikipedia

Indeks aktywności crawlera

Względna aktywność crawlera InternetArchiveBot w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.

Pokaż dane aktywności (ostatnie 7 dni)
DataIndeks aktywności
21 lis 202652,7
20 lis 202677,9
19 lis 202675,6
18 lis 202631
17 lis 202640,1
16 lis 202648,9
15 lis 202626,8

Źródło: Cloudflare Radar

Dlaczego warto śledzić ruch InternetArchiveBot?

Odróżniaj ruch monitorujący od rzeczywistej aktywności crawlerów. InternetArchiveBot sprawdza dostępność Twojej strony w regularnych interwałach. Bez właściwej identyfikacji te żądania mogą zawyżać metryki ruchu botów.

Weryfikuj pokrycie monitoringu. Śledź, które strony InternetArchiveBot sprawdza i jak często, aby konfiguracja monitoringu odpowiadała wymaganiom infrastruktury.

Weryfikacja w logach

Aby zweryfikować ruch InternetArchiveBot w logach serwera:

  1. Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
  2. Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Internet Archive)
  3. Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
  4. Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne

Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.

Nieudokumentowane informacje

Następujące informacje nie są oficjalnie udokumentowane dla InternetArchiveBot:

  • crawl frequency
  • IP verification
  • JavaScript rendering
  • user-initiated or autonomous details

Oficjalna dokumentacja

Zobacz oficjalną dokumentację InternetArchiveBot iabot.toolforge.org

Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.

Lista oczekujących otwarta

Zobacz InternetArchiveBot we własnym ruchu

Can AI See It pokazuje, kiedy InternetArchiveBot odwiedza Twoją stronę, czy żądania są prawdziwe i co Internet Archive daje w zamian.

Bez spamu. Tylko informacje o premierze.