크롤 예산

크롤 예산은 어디에서 쓰이나요?

URL 수가 수만 건 이상인 대형 사이트에서 주로 다뤄지는 개념입니다.

• 대형 쇼핑몰이나 뉴스 아카이브처럼 페이지 규모가 큰 사이트를 진단할 때
• 새로 올린 페이지가 며칠이 지나도 방문되지 않는 원인을 찾을 때
• 어떤 페이지를 먼저 가져가게 할지 우선순위를 정할 때

---

크롤 예산은 무엇으로 정해지나요?

구글봇은 크롤 속도와 크롤 수요 두 값을 함께 계산해 방문량을 조절합니다.

1. 크롤 속도 확인 서버가 감당할 수 있는 요청 빈도를 파악합니다.
2. 크롤 수요 계산 그 사이트를 얼마나 자주 다시 방문할 필요가 있는지 따집니다.
3. 방문량 배정 두 값을 합쳐 실제로 가져갈 페이지 수를 정합니다.

크롤 수요를 구성하는 요소는 세 가지입니다.

---

크롤 예산이 왜 중요한가요?

구글 검색 센터 문서는 페이지 수 기준으로 크롤 예산 점검 시점을 제시합니다. 콘텐츠 변경이 빈번하면 1만 개 이상, 변경 빈도가 중간이면 100만 개 이상의 페이지를 보유했을 때부터입니다.

이 기준에 못 미치는 사이트라면 크롤 예산보다 다른 우선순위를 먼저 점검하는 편이 효율적입니다.

---

크롤 예산이라는 개념은 왜 생겼나요?

구글봇이 한 서버에 짧은 시간 동안 너무 많은 요청을 보내면 서버에 부하가 걸릴 수 있습니다. 서버 부하를 막으면서도 새로 생기거나 바뀐 페이지를 놓치지 않아야 한다는 두 요구를 동시에 충족하기 위한 절충안으로 만들어졌습니다.

---

내 상황에 적용하려면?

페이지 수를 먼저 세어 보면 신경 쓸 시점인지 바로 드러납니다.

• 사이트 전체 URL 수가 1만 건을 넘는지 확인했습니다
• 구글 서치 콘솔 크롤링 통계에서 하루 평균 크롤 요청 수를 확인했습니다
• 중복·오류 URL을 정리해 인벤토리를 줄였습니다
• 불필요한 리다이렉트가 많지 않은지 점검했습니다

---

크롤 예산에 대한 흔한 오해는 무엇인가요?

규모가 작은 사이트에도 똑같이 적용된다고 오해하기 쉽습니다.

크롤 예산을 소비하는 주체인 구글봇이 가져간 페이지가 검색에 반영됐는지는 색인 커버리지에서 확인합니다.

---

자주 묻는 질문

크롤 예산은 어떻게 확인하나요?

구글 서치 콘솔의 크롤링 통계 보고서에서 하루 평균 크롤 요청 수와 응답 시간 추이를 확인할 수 있습니다.

리다이렉트가 많으면 예산이 얼마나 낭비되나요?

리다이렉트 한 건마다 구글봇이 요청을 한 번 더 보냅니다. 불필요한 리다이렉트가 많을수록 같은 예산으로 가져올 수 있는 새 페이지 수가 줄어듭니다.

작은 사이트도 점검해야 하나요?

페이지 수가 적다면 우선순위는 낮지만, 서버 응답이 느리거나 오류 페이지가 많다면 규모와 무관하게 점검할 가치가 있습니다.

참고 자료

• Google 검색 센터, 대규모 사이트 크롤링 예산 관리.
• Google 검색 센터, Googlebot 소개.