DiscoverBot.

Finner nye stier. WebAtlasDiscoverBot utforsker nettet for å fylle vår globale indekseringskø.

Slik fungerer det

Identifikasjon

WebAtlasDiscoverBot identifiserer seg med følgende User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

✓

Verifisering

Alle WebAtlas-roboter kobler seg kun til fra IP-adressene oppført i ip-ranges.json. En forespørsel med vår User-Agent fra en annen adresse kommer ikke fra WebAtlas.

↝

Formål og logikk

En lettvekts-robot som utelukkende fokuserer på lenkeoppdagelse. Den respekterer robots.txt-regler under sitt eget navn, laster ned maksimalt 512 KB per tilkobling, og følger Crawl-delay for å holde belastningen på serveren din lav.

⫶

Filtreringslag

Hver oppdagede lenke går gjennom tre filtre før den settes i kø:

Blokkerte annonse-/sosiale domener.
Tekniske stier (f.eks. /admin, /wp-login, /api).
Heuristiske annonse-/sporingsparametere (gclid, utm_source, clickid).

⌫

Kontroll for nettredaktører

For å blokkere WebAtlasDiscoverBot helt, legg til dette i robots.txt-filen din:

User-agent: WebAtlasDiscoverBot
Disallow: /