Apie mus Robotai Įrankiai svetainių valdytojams API Pagalba
Pridėti puslapį

Roboto dokumentacija

RssSitemapBot.

Skaito RSS, Atom ir sitemap failus, kad papildytų mūsų globalią indeksavimo eilę.

Kaip tai veikia

#

Identifikacija

WebAtlasRssSitemapBot prisistato šiuo User-Agent.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

✓

Patikrinimas

Visi WebAtlas robotai jungiasi tik iš IP adresų, nurodytų ip-ranges.json. Užklausa su mūsų User-Agent iš kito adreso nėra iš WebAtlas.

⟲

Paskirtis ir logika

Lengvas robotas, kurio užduotis — skaityti pateiktus RSS/Atom kanalus ir sitemap failus bei išgauti juose esančius URL adresus.

⫶

Filtravimo lygiai

Išgauti URL adresai automatiškai filtruojami trimis lygiais:

  • Užblokuoti reklamos / socialinių tinklų domenai.
  • Techniniai keliai (pvz., /admin, /wp-login, /api).
  • Euristiniai reklamos / sekimo parametrai (gclid, utm_source, clickid).
⌫

Valdymas svetainių valdytojams

Norėdami visiškai užblokuoti WebAtlasRssSitemapBot, pridėkite tai į savo robots.txt:

User-agent: WebAtlasRssSitemapBot
Disallow: /