Czym jest NostoCrawlerBot?

Krótka odpowiedź

NostoCrawlerBot to bot obsługiwany przez Nosto do celów reklamowych, używany do przeszukiwania i uzyskiwania dostępu do stron internetowych.

User-Agent
Mozilla/5.0 (compatible; NostoCrawlerBot/1.0; +http://my.nosto.com/tagging)

NostoCrawlerBot to web crawler opracowany przez Nosto, firmę specjalizującą się w reklamie. Bot został zaprojektowany do uzyskiwania dostępu do stron internetowych i ich przeszukiwania, szczególnie do celów reklamowych i pokrewnych. Obsługuje HTTP Basic authentication i może być dopuszczony na białą listę za pomocą zakresów adresów IP lub określonych reguł w robots.txt.

Identyfikacja User-Agent

Następujące ciągi user-agent identyfikują NostoCrawlerBot w ruchu na Twojej stronie:

  • Mozilla/5.0 (compatible; NostoCrawlerBot/1.0; +http://my.nosto.com/tagging)

Reguły robots.txt dla NostoCrawlerBot

Respektuje robots.txt: Nie

Użyj poniższych reguł robots.txt, aby kontrolować dostęp NostoCrawlerBot:

robots.txt
# Block NostoCrawlerBot
User-agent: NostoCrawlerBot
Disallow: /

# Allow NostoCrawlerBot
User-agent: NostoCrawlerBot
Allow: /

Ten bot nie zobowiązuje się do przestrzegania robots.txt

NostoCrawlerBot oficjalnie nie przestrzega dyrektyw robots.txt. Jedynym niezawodnym sposobem kontroli dostępu jest blokowanie po stronie serwera (filtrowanie IP, reguły user-agent w konfiguracji serwera) w połączeniu z monitoringiem logów.

Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.

Zachowanie crawlera

Częstotliwość: Not Documented

Wzorzec żądań: Not Documented

Cytaty z oficjalnej dokumentacji

Mozilla/5.0 (compatible; NostoCrawlerBot/1.0; +http://my.nosto.com/tagging)

Dlaczego warto śledzić ruch NostoCrawlerBot?

Weryfikuj zachowanie crawlera systemu reklamowego. NostoCrawlerBot ocenia Twoje strony pod kątem targetowania reklam, oceny jakości i zgodności z polityką.

Optymalizuj dostarczanie reklam. Jeśli NostoCrawlerBot nie ma właściwego dostępu do pewnych stron, targetowanie i przychody z reklam mogą ucierpieć. Monitoring ruchu potwierdza dostępność.

Weryfikacja w logach

Aby zweryfikować ruch NostoCrawlerBot w logach serwera:

  1. Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
  2. Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Nosto)
  3. Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
  4. Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne

Weryfikacja IP: Nosto udostępnia oficjalną weryfikację IP przez Published IP ranges. Zobacz instrukcje weryfikacji →

IP addresses listed under the property 'crawler'

Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.

Nieudokumentowane informacje

Następujące informacje nie są oficjalnie udokumentowane dla NostoCrawlerBot:

  • crawl frequency
  • request pattern
  • JavaScript rendering

Oficjalna dokumentacja

Zobacz oficjalną dokumentację NostoCrawlerBot help.nosto.com

Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.

Lista oczekujących otwarta

Zobacz NostoCrawlerBot we własnym ruchu

Can AI See It pokazuje, kiedy NostoCrawlerBot odwiedza Twoją stronę, czy żądania są prawdziwe i co Nosto daje w zamian.

Bez spamu. Tylko informacje o premierze.