Знакомьтесь с WebAtlasBot.

Официальный бот поисковой системы MevaSearch, строящий безопасную и свободную от фильтров карту интернета.

Как это работает

Идентификация

WebAtlasBot идентифицирует себя следующим User-Agent.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

✓

Проверка

Все боты WebAtlas подключаются только с IP-адресов, перечисленных в ip-ranges.json. Запрос с нашим User-Agent с другого адреса не исходит от WebAtlas.

⏱

Поведение

Бот минимизирует нагрузку на сервер. Он соблюдает директивы robots.txt, учитывает Crawl-delay и проверяет теги noindex/canonical перед сохранением страницы.

◎

WebAtlas Index

Собранный контент пополняет WebAtlas Index — нашу собственную базу данных, которую MevaSearch использует для поиска и семантического анализа.

⌫

Контроль сканирования

Заблокируйте или ограничьте WebAtlasBot с помощью стандартных правил robots.txt:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Бот также учитывает мета-тег <meta name="robots" content="noindex">.

Почему мы посещаем ваш сайт?

WebAtlasBot собирает данные для системы MevaSearch, фокусируясь на качественном, образовательном и техническом контенте, стремясь построить базу знаний, устойчивую к алгоритмическим манипуляциям.

⚭

Связанные боты

AdultBot и WebOrbitonBot — родственные боты того же проекта, управляемые той же командой и соблюдающие те же стандарты, описанные на этой странице.