DiscoverBot.

Randa naujus kelius. WebAtlasDiscoverBot tyrinėja internetą, kad papildytų mūsų globalią indeksavimo eilę.

Kaip tai veikia

Identifikacija

WebAtlasDiscoverBot prisistato šiuo User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

✓

Patikrinimas

Visi WebAtlas robotai jungiasi tik iš IP adresų, nurodytų ip-ranges.json. Užklausa su mūsų User-Agent iš kito adreso nėra iš WebAtlas.

↝

Paskirtis ir logika

Lengvas robotas, skirtas tik nuorodų atradimui. Jis gerbia robots.txt taisykles savo vardu, atsisiunčia ne daugiau kaip 512 KB per ryšį ir laikosi Crawl-delay, kad minimaliai apkrautų jūsų serverį.

⫶

Filtravimo lygiai

Kiekviena rasta nuoroda prieš patekdama į eilę pereina tris filtrus:

Užblokuoti reklamos / socialinių tinklų domenai.
Techniniai keliai (pvz., /admin, /wp-login, /api).
Euristiniai reklamos / sekimo parametrai (gclid, utm_source, clickid).

⌫

Valdymas svetainių valdytojams

Norėdami visiškai užblokuoti WebAtlasDiscoverBot, pridėkite tai į savo robots.txt:

User-agent: WebAtlasDiscoverBot
Disallow: /