Lerne WebAtlasBot kennen.

Der offizielle Crawler der Suchmaschine MevaSearch, der eine sichere und filterfreie Karte des Internets erstellt.

So funktioniert es

Identifikation

WebAtlasBot identifiziert sich mit folgendem User-Agent.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

✓

Verifizierung

Alle WebAtlas-Crawler verbinden sich ausschließlich von den in ip-ranges.json aufgeführten IP-Adressen. Eine Anfrage mit unserem User-Agent von einer anderen Adresse stammt nicht von WebAtlas.

⏱

Verhalten

Der Crawler minimiert die Serverlast. Er respektiert robots.txt-Direktiven, beachtet Crawl-delay und prüft noindex-/canonical-Tags, bevor er eine Seite speichert.

◎

WebAtlas Index

Gesammelte Inhalte fließen in den WebAtlas Index ein — unsere eigene Datenbank, die von MevaSearch für Suche und semantische Analyse genutzt wird.

⌫

Crawl-Kontrolle

Blockiere oder drossle WebAtlasBot mit Standard-robots.txt-Regeln:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Der Bot beachtet auch das Meta-Tag <meta name="robots" content="noindex">.

Warum besuchen wir deine Seite?

WebAtlasBot sammelt Daten für die Suchmaschine MevaSearch mit Fokus auf hochwertige, edukative und technische Inhalte, um eine gegen algorithmische Manipulation resistente Wissensbasis aufzubauen.

⚭