Czym jest Meta-WebIndexer?

Krótka odpowiedź

Meta-WebIndexer to crawler mediów społecznościowych obsługiwany przez Meta do indeksowania wyszukiwania i wykrywania treści web.

User-Agent
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Meta-WebIndexer to web crawler opracowany przez Meta, zaprojektowany do indeksowania treści web na potrzeby mediów społecznościowych. Jest identyfikowany przez user agents 'meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)' oraz 'meta-webindexer/1.1'. Zachowanie bota i szczegóły techniczne wskazują, że jest używany do indeksowania wyszukiwania i wykrywania treści web.

Identyfikacja User-Agent

Następujące ciągi user-agent identyfikują Meta-WebIndexer w ruchu na Twojej stronie:

  • meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
  • meta-webindexer/1.1

Reguły robots.txt dla Meta-WebIndexer

Respektuje robots.txt: Nie

Ten bot nie zobowiązuje się do przestrzegania robots.txt

Meta-WebIndexer oficjalnie nie przestrzega dyrektyw robots.txt. Jedynym niezawodnym sposobem kontroli dostępu jest blokowanie po stronie serwera (filtrowanie IP, reguły user-agent w konfiguracji serwera) w połączeniu z monitoringiem logów.

Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.

Zachowanie crawlera

Częstotliwość: Not Documented

Wzorzec żądań: Not Documented

Indeks aktywności crawlera

Względna aktywność crawlera Meta-WebIndexer w ciągu ostatnich 28 dni. Wyższe wartości oznaczają zwiększoną intensywność crawlowania w porównaniu z bazą okresu.

Pokaż dane aktywności (ostatnie 7 dni)
DataIndeks aktywności
21 lis 202672,8
20 lis 202672
19 lis 202670,1
18 lis 202673,6
17 lis 202669,3
16 lis 202660,1
15 lis 202641,9

Źródło: Cloudflare Radar

Dlaczego warto śledzić ruch Meta-WebIndexer?

Upewnij się, że podglądy linków renderują się poprawnie. Meta-WebIndexer pobiera Twoje strony do generowania kart podglądu na Meta. Jeśli nie ma dostępu do meta tagów, udostępniane linki wyświetlają uszkodzone lub generyczne podglądy.

Monitoruj aktywność udostępniania w social media. Żądania Meta-WebIndexer korelują z tym, jak często Twoje URL-e są udostępniane na Meta, nawet zanim dostępne są metryki zaangażowania.

Weryfikacja w logach

Aby zweryfikować ruch Meta-WebIndexer w logach serwera:

  1. Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
  2. Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez Meta)
  3. Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
  4. Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne

Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.

Nieudokumentowane informacje

Następujące informacje nie są oficjalnie udokumentowane dla Meta-WebIndexer:

  • crawl frequency
  • request pattern
  • IP verification
  • JavaScript rendering

Weryfikuj podglądy linków - i śledź dostęp botów social media

  • Potwierdź, że Meta-WebIndexer ma dostęp do Twoich meta tagów Open Graph
  • Śledź, które URL-e są udostępniane na Meta
  • Wykrywaj nieudane pobrania powodujące uszkodzone podglądy

Oficjalna dokumentacja

Zobacz oficjalną dokumentację Meta-WebIndexer developers.facebook.com

Informacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.

Lista oczekujących otwarta

Zobacz Meta-WebIndexer we własnym ruchu

Can AI See It pokazuje, kiedy Meta-WebIndexer odwiedza Twoją stronę, czy żądania są prawdziwe i co Meta daje w zamian.

Bez spamu. Tylko informacje o premierze.