AI 봇 크롤링 설정 가이드 — GPTBot·OAI-SearchBot·ClaudeBot·PerplexityBot은 각각 무엇을 하나

플랫폼별 봇과 역할 (공식 문서, 2026-10 접속 기준)

• OpenAI — GPTBot: 파운데이션 모델 학습용. 차단하면 '학습에 쓰지 말라'는 뜻. OAI-SearchBot: ChatGPT 검색 결과에 사이트를 노출시키는 용도이며 학습에 쓰지 않음. 차단하면 검색 결과에서 빠지되 탐색용 링크로는 보일 수 있음. ChatGPT-User: 사용자가 요청할 때 페이지를 방문하며 robots.txt가 적용되지 않을 수 있음.
• Anthropic — ClaudeBot: 학습에 기여할 수 있는 웹 콘텐츠 수집. Claude-SearchBot: 검색 결과 품질 개선용(차단 시 검색 색인 제외). Claude-User: 사용자 질문에 답하기 위한 방문. 셋 다 robots.txt 준수.
• Perplexity — PerplexityBot: Perplexity 검색 결과에 사이트를 노출·링크하는 용도이며 모델 학습용이 아님. Perplexity-User: 사용자 요청 시 방문하며 '일반적으로 robots.txt를 무시'한다고 명시.
• Google — AI Overviews·AI 모드에 나오려면 별도 요건이 없고 일반 색인(Googlebot)과 스니펫 노출 자격이면 충분. nosnippet·max-snippet·noindex로 AI 기능 노출을 제한할 수 있음.

권장 설정: 검색 노출은 열고, 학습은 정책대로

AI 답변에 인용되는 것이 목표라면 OAI-SearchBot·Claude-SearchBot·PerplexityBot·Googlebot은 허용해야 합니다. 이 봇들은 공식적으로 학습이 아니라 검색·인용을 위해 수집합니다. GPTBot·ClaudeBot 같은 학습용 봇은 회사의 데이터 정책에 따라 결정하되, 학습 거부가 검색 노출까지 막지는 않는다는 점을 기억하세요.

주의: 봇 이름이 robots.txt에 없으면 '*' 규칙을 따릅니다. 내부 페이지(관리 콘솔·로그인·API)는 모든 봇에 대해 disallow로 두고, 공개 페이지만 허용하는 것이 안전합니다.

robots.txt 예시

아래는 '학습 봇은 거부, 검색 봇은 허용, 내부 경로는 전부 차단'하는 최소 예시입니다. 봇 이름과 버전은 플랫폼 문서에서 수시로 바뀌므로 분기마다 확인하세요.

• User-agent: * / Disallow: /admin / Disallow: /login / Allow: /
• User-agent: OAI-SearchBot / Allow: /
• User-agent: Claude-SearchBot / Allow: /
• User-agent: PerplexityBot / Allow: /
• User-agent: GPTBot / Disallow: / ← 학습 거부를 원할 때만
• User-agent: ClaudeBot / Disallow: / ← 학습 거부를 원할 때만
• Sitemap: https://example.com/sitemap.xml

새 글을 빨리 알리기: IndexNow

IndexNow는 URL 추가·갱신·삭제를 검색엔진에 즉시 알리는 공개 프로토콜로, Microsoft Bing·네이버·Seznam·Yandex 등이 참여합니다. 한 엔진에 제출하면 참여 엔진 전체에 공유되며, 루트에 키 파일을 두어 소유를 증명하고 한 번에 최대 1만 개 URL을 보낼 수 있습니다. Bing은 ChatGPT 같은 AI 도구의 검색을 뒷받침한다고 밝혔으므로, Bing 색인이 빨라지면 AI 인용도 빨라집니다.