소개 크롤러 웹마스터 도구 API 지원
사이트 추가

크롤러 문서

RssSitemapBot.

RSS, Atom, 사이트맵 파일을 읽어 전역 색인 대기열을 채웁니다.

작동 방식

#

식별

WebAtlasRssSitemapBot은 다음 User-Agent로 자신을 식별합니다.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

✓

확인

모든 WebAtlas 크롤러는 ip-ranges.json에 나열된 IP 주소에서만 접속합니다. 당사의 User-Agent를 사용하더라도 다른 주소에서 온 요청은 WebAtlas의 요청이 아닙니다.

⟲

목적 및 로직

제출된 RSS/Atom 피드와 사이트맵 파일을 읽고 포함된 URL을 추출하는 경량 크롤러입니다.

⫶

필터링 계층

추출된 URL은 자동으로 세 가지 계층을 통해 필터링됩니다:

  • 차단 목록에 있는 광고/소셜 도메인.
  • 기술적 경로 (예: /admin, /wp-login, /api).
  • 휴리스틱 광고/추적 매개변수 (gclid, utm_source, clickid).
⌫

웹마스터를 위한 제어

WebAtlasRssSitemapBot을 완전히 차단하려면 robots.txt에 다음을 추가하세요:

User-agent: WebAtlasRssSitemapBot
Disallow: /