El DiscoverBot.

Descubriendo nuevos caminos. WebAtlasDiscoverBot explora la web para alimentar nuestra cola de indexación global.

Cómo funciona

Identificación

WebAtlasDiscoverBot se identifica con el siguiente User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

✓

Verificación

Todos los rastreadores de WebAtlas se conectan únicamente desde las direcciones IP indicadas en ip-ranges.json. Una solicitud con nuestro User-Agent desde otra dirección no procede de WebAtlas.

↝

Propósito y lógica

Un rastreador ligero centrado exclusivamente en el descubrimiento de enlaces. Respeta las reglas de robots.txt bajo su propio nombre, descarga como máximo 512 KB por conexión y honra Crawl-delay para mantener un bajo impacto en tu servidor.

⫶

Capas de filtrado

Cada enlace descubierto pasa por tres filtros antes de ponerse en cola:

Dominios de publicidad/redes sociales en lista negra.
Rutas técnicas (p. ej. /admin, /wp-login, /api).
Parámetros heurísticos de publicidad/seguimiento (gclid, utm_source, clickid).

⌫

Control para webmasters

Para bloquear completamente WebAtlasDiscoverBot, añade esto a tu robots.txt:

User-agent: WebAtlasDiscoverBot
Disallow: /