Identyfikacja User-Agent
Następujące ciągi user-agent identyfikują OpenRSS w ruchu na Twojej stronie:
-
OpenRSS
Reguły robots.txt dla OpenRSS
Respektuje robots.txt: Nie
Użyj poniższych reguł robots.txt, aby kontrolować dostęp OpenRSS:
# Block OpenRSS
User-agent: OpenRSS
Disallow: /
# Allow OpenRSS
User-agent: OpenRSS
Allow: / Robots.txt ma ograniczony wpływ na boty inicjowane przez użytkowników
OpenRSS jest uruchamiany przez działania użytkowników w produktach OpenRSS. Mimo że OpenRSS deklaruje respektowanie robots.txt, bot działa inaczej niż autonomiczne crawlery - pobiera konkretne URL-e na żądanie zamiast systematycznie crawlować stronę. Monitoring ruchu to jedyny niezawodny sposób weryfikacji.
Potrzebujesz ciągłej weryfikacji 487 botów? Can AI See It automatyzuje ten proces.
Zachowanie crawlera
Częstotliwość: Continuous
Wzorzec żądań: Fetches RSS Feeds For User-Submitted Websites
Cytaty z oficjalnej dokumentacji
Open RSS offers feeds that are a much healthier alternative to the intrusive, algorithmic feeds on websites that harm and manipulate us.
Dlaczego warto śledzić ruch OpenRSS?
Identyfikuj i klasyfikuj nieznaną aktywność crawlerów. OpenRSS może pojawiać się w logach serwera z różną częstotliwością. Śledzenie zachowania pomaga zdecydować, czy zezwolić, ograniczyć czy zablokować na podstawie danych.
Chroń budżet crawlowania. Każde żądanie bota pochłania zasoby serwera. Zrozumienie, co OpenRSS crawluje, pomaga priorytetyzować crawlery, które mają znaczenie.
Weryfikacja w logach
Aby zweryfikować ruch OpenRSS w logach serwera:
- Szukaj w logach dostępu ciągów user-agent wymienionych powyżej
- Sprawdź, czy adresy IP pasują do udokumentowanych zakresów (jeśli podane przez OpenRSS)
- Zweryfikuj, czy wzorzec crawlowania odpowiada udokumentowanemu zachowaniu
- Użyj odwrotnego wyszukiwania DNS do dodatkowej weryfikacji, jeśli dostępne
Uwaga: Obserwowane zachowanie w środowiskach produkcyjnych może różnić się od oficjalnej dokumentacji. Monitoring ruchu zapewnia jedyną niezawodną weryfikację rzeczywistego zachowania botów.
Nieudokumentowane informacje
Następujące informacje nie są oficjalnie udokumentowane dla OpenRSS:
- ip verification method
- JavaScript rendering details
Oficjalna dokumentacja
Zobacz oficjalną dokumentację OpenRSS openrss.orgInformacje pochodzą z oficjalnej dokumentacji. Treść wygenerowana z pomocą AI.