Der RssSitemapBot.

Liest RSS-, Atom- und Sitemap-Dateien, um unsere globale Indexierungswarteschlange zu füllen.

So funktioniert es

Identifikation

WebAtlasRssSitemapBot identifiziert sich mit folgendem User-Agent.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

✓

Verifizierung

Alle WebAtlas-Crawler verbinden sich ausschließlich von den in ip-ranges.json aufgeführten IP-Adressen. Eine Anfrage mit unserem User-Agent von einer anderen Adresse stammt nicht von WebAtlas.

⟲

Zweck & Logik

Ein leichtgewichtiger Crawler, dessen Aufgabe es ist, eingereichte RSS-/Atom-Feeds und Sitemap-Dateien zu lesen und die darin enthaltenen URLs zu extrahieren.

⫶

Filterebenen

Extrahierte URLs werden automatisch durch drei Ebenen gefiltert:

Gesperrte Werbe-/Social-Media-Domains.
Technische Pfade (z. B. /admin, /wp-login, /api).
Heuristische Werbe-/Tracking-Parameter (gclid, utm_source, clickid).

⌫

Kontrolle für Webmaster

Um WebAtlasRssSitemapBot vollständig zu blockieren, füge dies zu deiner robots.txt hinzu:

User-agent: WebAtlasRssSitemapBot
Disallow: /