Le RssSitemapBot.

Lit les fichiers RSS, Atom et sitemap pour alimenter notre file d'indexation globale.

Comment ça marche

Identification

WebAtlasRssSitemapBot s'identifie avec le User-Agent suivant.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

✓

Vérification

Tous les robots WebAtlas se connectent uniquement depuis les adresses IP listées dans ip-ranges.json. Une requête portant notre User-Agent depuis une autre adresse ne provient pas de WebAtlas.

⟲

Objectif et logique

Un robot léger dont le rôle est de lire les flux RSS/Atom et fichiers sitemap soumis, puis d'en extraire les URL.

⫶

Couches de filtrage

Les URL extraites sont automatiquement filtrées par trois couches :

Domaines publicitaires/sociaux sur liste noire.
Chemins techniques (ex. /admin, /wp-login, /api).
Paramètres publicitaires/de suivi heuristiques (gclid, utm_source, clickid).

⌫

Contrôle webmaster

Pour bloquer entièrement WebAtlasRssSitemapBot, ajoutez ceci à votre robots.txt :

User-agent: WebAtlasRssSitemapBot
Disallow: /