Czym jest Arquivo Web Crawler?

Krótka odpowiedź

Arquivo Web Crawler to bot archiwizacji sieci obsługiwany przez Arquivo, przechwytujący portugalski web.

User-Agent
Arquivo-web-crawler (compatible; heritrix/3.4.0-20200304 +https://arquivo.pt/faq-crawling)

Arquivo Web Crawler to bot archiwizacji sieci zaprojektowany do przechwytywania i zachowywania portugalskiego web. Jest obsługiwany przez Arquivo i wykorzystuje Heritrix, oprogramowanie do archiwizacji web, w wersji 3.4.0-20200304. Główną funkcją bota jest systematyczne crawlowanie i archiwizowanie treści web.

Identyfikacja User-Agent

Następujące ciągi user-agent identyfikują Arquivo Web Crawler w ruchu na Twojej stronie:

  • Arquivo-web-crawler (compatible; heritrix/3.4.0-20200304 +https://arquivo.pt/faq-crawling)

Reguły robots.txt dla Arquivo Web Crawler

Respektuje robots.txt: Tak

Użyj poniższych reguł robots.txt, aby kontrolować dostęp Arquivo Web Crawler:

robots.txt
# Block Arquivo Web Crawler
User-agent: Arquivo-web-crawler
Disallow: /

# Allow Arquivo Web Crawler
User-agent: Arquivo-web-crawler
Allow: /

Robots.txt to dyrektywa, nie bariera

Arquivo deklaruje, że Arquivo Web Crawler respektuje robots.txt. Jednak błędy konfiguracji, opóźnienia cache i przypadki brzegowe oznaczają, że Twoje dyrektywy nie zawsze mogą być przestrzegane. Weryfikacja na podstawie ruchu potwierdza, czy Arquivo Web Crawler faktycznie stosuje się do Twoich reguł.

Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.

Zachowanie crawlera

Częstotliwość: Not Documented

Wzorzec żądań: Not Documented

Cytaty z oficjalnej dokumentacji

Arquivo-web-crawler (compatible; heritrix/3.4.0-20200304 +https://arquivo.pt/faq-crawling)

Źródło:Oficjalna dokumentacja

Indeks aktywności crawlera

Względna aktywność crawlera Arquivo Web Crawler w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.

Pokaż dane aktywności (ostatnie 7 dni)
DataIndeks aktywności
21 lis 202622,5
20 lis 202618,8
19 lis 202622,4
18 lis 202618,9
17 lis 202622,8
16 lis 202647,3
15 lis 202648,4

Źródło: Cloudflare Radar

Dlaczego warto śledzić ruch Arquivo Web Crawler?

Śledź, co jest archiwizowane. Arquivo Web Crawler archiwizuje Twoje treści do długoterminowego przechowywania. Monitoring pokazuje, które strony są przechwytywane i jak często.

Kontroluj, co jest archiwizowane. Jeśli pewne strony zawierają nieaktualne ceny lub treści, których wolisz nie udostępniać na stałe, śledzenie Arquivo Web Crawler pomaga zastosować kontrole.

Weryfikacja w logach

Aby zweryfikować ruch Arquivo Web Crawler w logach serwera:

  1. Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
  2. Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Arquivo)
  3. Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
  4. Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne

Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.

Nieudokumentowane informacje

Następujące informacje nie są oficjalnie udokumentowane dla Arquivo Web Crawler:

  • crawl frequency
  • request pattern
  • IP verification method
  • JavaScript rendering details

Oficjalna dokumentacja

Zobacz oficjalną dokumentację Arquivo Web Crawler sobre.arquivo.pt

Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.

Lista oczekujących otwarta

Zobacz Arquivo Web Crawler we własnym ruchu

Can AI See It pokazuje, kiedy Arquivo Web Crawler odwiedza Twoją stronę, czy żądania są prawdziwe i co Arquivo daje w zamian.

Bez spamu. Tylko informacje o premierze.