GEO·AI 검색
AI 크롤러
AI Crawler 다른 표기: GPTBot, ClaudeBot, PerplexityBot, Google-Extended
AI 크롤러는 챗GPT, 퍼플렉시티 같은 생성형 AI 서비스가 웹 문서를 모으는 자동화 프로그램입니다. GPTBot·PerplexityBot·Google-Extended처럼 서비스마다 이름과 robots.txt 제어 방식이 다릅니다.
- robots.txt로 AI 크롤러를 허용·차단하는 방법
- 검색 크롤러와 AI 크롤러가 서로 다른 토큰으로 움직이는 이유
- 지금 내 robots.txt에서 AI 크롤러 설정을 확인하는 방법
AI 크롤러는 어디에서 쓰이나요?
생성형 AI 서비스가 학습이나 답변 생성을 위해 웹 문서를 모을 때 움직입니다. 검색 색인용 크롤러와는 별도의 프로그램입니다.
- OpenAI의 GPTBot이 모델 학습용 문서를 모을 때
- 퍼플렉시티의 PerplexityBot이 답변 근거를 모을 때
- 구글의 Google-Extended가 AI 학습 제공 여부를 따로 결정할 때
AI 크롤러는 robots.txt에 어떻게 작성하나요?
막고 싶은 크롤러의 user-agent 토큰을 지정해 Disallow를 적습니다.
User-agent: GPTBot Disallow: / User-agent: PerplexityBot Allow: /
지킬 규칙은 세 가지입니다.
- 크롤러마다 토큰이 달라 하나씩 따로 적습니다
- 같은 회사도 목적별로 토큰을 나눠 운영합니다
- 검색 크롤러(예: Googlebot)는 별도 토큰이라 함께 막히지 않습니다
AI 크롤러라는 개념은 왜 생겼나요?
생성형 AI가 답을 만들려면 먼저 웹 문서를 읽어야 합니다. 검색 색인이 목적인 기존 크롤러와 목적 자체가 달라 서비스마다 전용 크롤러를 새로 뒀습니다.
AI 크롤러가 왜 중요한가요?
토큰을 구분하지 않고 막으면 의도하지 않은 기회까지 함께 놓칠 수 있습니다. OpenAI는 목적이 다른 크롤러 3종을 따로 운영합니다(OpenAI 공식 문서).
| OpenAI 크롤러 | 목적 |
|---|---|
| GPTBot | 모델 학습용 수집 |
| OAI-SearchBot | 챗GPT 검색 답변용 수집 |
| ChatGPT-User | 사용자가 직접 요청할 때만 동작 |
GPTBot을 막으면 그 사이트 콘텐츠를 모델 학습에 쓰지 않습니다(OpenAI 공식 문서).
내 상황에 적용하려면?
도메인 뒤에 /robots.txt를 붙여 AI 크롤러 관련 줄이 있는지부터 확인합니다.
- 내가 원하는 크롤러만 골라 허용·차단했는지 확인했습니다
- 검색 크롤러와 AI 크롤러 토큰을 혼동하지 않았는지 확인했습니다
- 같은 회사의 크롤러도 목적별로 나눠 적었는지 확인했습니다
- 설정을 바꾼 뒤 실제 파일에 반영됐는지 확인했습니다
AI 크롤러에 대한 흔한 오해는 무엇인가요?
AI 크롤러를 막으면 검색 노출도 줄어든다고 오해하는 경우가 많습니다.
| 오해 | 실제 |
|---|---|
| AI 크롤러를 막으면 검색 노출도 함께 줄어듭니다 | 서로 다른 토큰으로 제어되어 검색 노출과는 무관합니다 |
| 네이버 블로그도 설정만 바꾸면 AI 크롤러를 받아들일 수 있습니다 | 제어권이 플랫폼에 있어 개별 계정은 바꿀 수 없습니다 |
| AI 크롤러 하나만 막으면 모든 AI 서비스에서 제외됩니다 | 서비스마다 토큰이 달라 다른 크롤러는 여전히 수집할 수 있습니다 |
모아 온 정보가 답으로 재구성되는 과정은 생성형 엔진에서, 실제 노출 여부는 AI 가시성에서 다룹니다.
자주 묻는 질문
GPTBot과 구글봇은 같은 크롤러인가요?
아닙니다. 구글봇은 검색 색인용이고 GPTBot은 OpenAI의 모델 학습용 크롤러입니다.
AI 크롤러를 막으면 검색 순위에도 영향이 있나요?
없습니다. robots.txt에서 서로 다른 토큰으로 제어되어 검색 노출과는 무관합니다.
네이버 블로그 글도 챗GPT 같은 AI 서비스에 인용될 수 있나요?
플랫폼이 여러 AI 크롤러의 수집을 막고 있어 구조적으로 어렵습니다.
참고 자료
이 페이지가 도움이 되었나요?
10초면 됩니다 · 남겨주신 의견은 다음 개정에 반영됩니다