RssSitemapBot.

Leser RSS-, Atom- og sitemap-filer for å fylle vår globale indekseringskø.

Slik fungerer det

Identifikasjon

WebAtlasRssSitemapBot identifiserer seg med følgende User-Agent.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

✓

Verifisering

Alle WebAtlas-roboter kobler seg kun til fra IP-adressene oppført i ip-ranges.json. En forespørsel med vår User-Agent fra en annen adresse kommer ikke fra WebAtlas.

⟲

Formål og logikk

En lettvekts-robot hvis oppgave er å lese innsendte RSS-/Atom-feeder og sitemap-filer og hente ut URL-ene de inneholder.

⫶

Filtreringslag

Hentede URL-er filtreres automatisk gjennom tre lag:

Blokkerte annonse-/sosiale domener.
Tekniske stier (f.eks. /admin, /wp-login, /api).
Heuristiske annonse-/sporingsparametere (gclid, utm_source, clickid).

⌫

Kontroll for nettredaktører

For å blokkere WebAtlasRssSitemapBot helt, legg til dette i robots.txt-filen din:

User-agent: WebAtlasRssSitemapBot
Disallow: /