Czym jest Internet Archive Bot?

Krótka odpowiedź

Crawler Internet Archive przeszukuje i zachowuje publicznie dostępne strony internetowe dla historycznego archiwum Wayback Machine Internet Archive.

User-Agent
Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot)

Crawler Internet Archive (archive.org_bot) systematycznie przeszukuje publicznie dostępne strony internetowe, aby zachować je w Wayback Machine. Przestrzega dyrektyw robots.txt. Misją Internet Archive jest zapewnienie powszechnego dostępu do całej wiedzy poprzez zachowywanie historii sieci.

Identyfikacja User-Agent

Następujące ciągi user-agent identyfikują Internet Archive Bot w ruchu na Twojej stronie:

  • Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot)
  • Mozilla/5.0 (compatible; special_archiver/3.1.1 +http://www.archive.org/details/archive.org_bot)

Reguły robots.txt dla Internet Archive Bot

Respektuje robots.txt: Tak

Użyj poniższych reguł robots.txt, aby kontrolować dostęp Internet Archive Bot:

robots.txt
# Block Internet Archive Bot
User-agent: archive.org_bot
Disallow: /

# Allow Internet Archive Bot
User-agent: archive.org_bot
Allow: /

Robots.txt to dyrektywa, nie bariera

Internet Archive deklaruje, że Internet Archive Bot respektuje robots.txt. Jednak błędy konfiguracji, opóźnienia cache i przypadki brzegowe oznaczają, że Twoje dyrektywy nie zawsze mogą być przestrzegane. Weryfikacja na podstawie ruchu potwierdza, czy Internet Archive Bot faktycznie stosuje się do Twoich reguł.

Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.

Zachowanie crawlera

Wzorzec żądań: Brak dokumentacji

Indeks aktywności crawlera

Względna aktywność crawlera Internet Archive Bot w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.

Pokaż dane aktywności (ostatnie 7 dni)
DataIndeks aktywności
21 lis 202674,5
20 lis 202689,2
19 lis 202691,7
18 lis 202697,8
17 lis 202690,7
16 lis 202676,5
15 lis 202679,8

Źródło: Cloudflare Radar

Dlaczego warto śledzić ruch Internet Archive Bot?

Śledź, co jest archiwizowane. Internet Archive Bot archiwizuje Twoje treści do długoterminowego przechowywania. Monitoring pokazuje, które strony są przechwytywane i jak często.

Kontroluj, co jest archiwizowane. Jeśli pewne strony zawierają nieaktualne ceny lub treści, których wolisz nie udostępniać na stałe, śledzenie Internet Archive Bot pomaga zastosować kontrole.

Weryfikacja w logach

Aby zweryfikować ruch Internet Archive Bot w logach serwera:

  1. Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
  2. Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Internet Archive)
  3. Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
  4. Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne

Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.

Oficjalna dokumentacja

Zobacz oficjalną dokumentację Internet Archive Bot archive.org

Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.

Lista oczekujących otwarta

Zobacz Internet Archive Bot we własnym ruchu

Can AI See It pokazuje, kiedy Internet Archive Bot odwiedza Twoją stronę, czy żądania są prawdziwe i co Internet Archive daje w zamian.

Bez spamu. Tylko informacje o premierze.