Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują Arquivo Web Crawler w ruchu na Twojej stronie:
-
Arquivo-web-crawler (compatible; heritrix/3.4.0-20200304 +https://arquivo.pt/faq-crawling)
Reguły robots.txt dla Arquivo Web Crawler
Respektuje robots.txt: Tak
Użyj poniższych reguł robots.txt, aby kontrolować dostęp Arquivo Web Crawler:
# Block Arquivo Web Crawler
User-agent: Arquivo-web-crawler
Disallow: /
# Allow Arquivo Web Crawler
User-agent: Arquivo-web-crawler
Allow: / Robots.txt to dyrektywa, nie bariera
Arquivo deklaruje, że Arquivo Web Crawler respektuje robots.txt. Jednak błędy konfiguracji, opóźnienia cache i przypadki brzegowe oznaczają, że Twoje dyrektywy nie zawsze mogą być przestrzegane. Weryfikacja na podstawie ruchu potwierdza, czy Arquivo Web Crawler faktycznie stosuje się do Twoich reguł.
Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość: Not Documented
Wzorzec żądań: Not Documented
Cytaty z oficjalnej dokumentacji
Arquivo-web-crawler (compatible; heritrix/3.4.0-20200304 +https://arquivo.pt/faq-crawling)
Indeks aktywności crawlera
Względna aktywność crawlera Arquivo Web Crawler w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.
Pokaż dane aktywności (ostatnie 7 dni)
| Data | Indeks aktywności |
|---|---|
| 21 lis 2026 | 22,5 |
| 20 lis 2026 | 18,8 |
| 19 lis 2026 | 22,4 |
| 18 lis 2026 | 18,9 |
| 17 lis 2026 | 22,8 |
| 16 lis 2026 | 47,3 |
| 15 lis 2026 | 48,4 |
Źródło: Cloudflare Radar
Dlaczego warto śledzić ruch Arquivo Web Crawler?
Śledź, co jest archiwizowane. Arquivo Web Crawler archiwizuje Twoje treści do długoterminowego przechowywania. Monitoring pokazuje, które strony są przechwytywane i jak często.
Kontroluj, co jest archiwizowane. Jeśli pewne strony zawierają nieaktualne ceny lub treści, których wolisz nie udostępniać na stałe, śledzenie Arquivo Web Crawler pomaga zastosować kontrole.
Weryfikacja w logach
Aby zweryfikować ruch Arquivo Web Crawler w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Arquivo)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla Arquivo Web Crawler:
- crawl frequency
- request pattern
- IP verification method
- JavaScript rendering details
Oficjalna dokumentacja
Zobacz oficjalną dokumentację Arquivo Web Crawler sobre.arquivo.ptInformacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.