크롤링

크롤링은 어디에서 쓰이나요?

새로 만든 페이지가 아직 검색결과에 나타나지 않을 때 「크롤링이 안 됐다」고 표현합니다.

• 새 글이 검색결과에 왜 아직 안 나타나는지 원인을 짚을 때
• 사이트맵을 제출한 뒤 반영 여부를 기다릴 때
• 오래된 페이지가 검색결과에서 갱신되지 않는 이유를 찾을 때

---

크롤링은 어떻게 작동하나요?

구글봇 같은 프로그램이 발견, 방문, 재방문 결정 순서로 페이지를 가져갑니다.

1. 발견 다른 페이지의 링크나 사이트맵을 통해 새 URL을 찾습니다.
2. 방문 그 URL에 접속해 텍스트·이미지 등 내용을 내려받습니다.
3. 재방문 결정 사이트 규모와 갱신 빈도에 따라 다음 방문 주기를 조정합니다.

이 흐름에 영향을 주는 요소는 다음과 같습니다.

---

크롤링이 왜 중요한가요?

약 140억 개 페이지를 조사한 연구에서 96.55%가 구글에서 트래픽을 전혀 받지 못했습니다(Ahrefs, 2024).

크롤링과 색인을 거치지 못한 페이지는 이 트래픽 경쟁에 낄 기회조차 얻지 못한다는 뜻입니다.

---

크롤링이라는 개념은 왜 생겼나요?

검색엔진이 웹 전체를 검색결과로 보여주려면 먼저 어떤 페이지가 존재하는지 발견하고 내용을 가져와야 합니다. 구글 검색 센터는 Google 검색 작동 방식 문서에서 이 첫 단계를 크롤링이라고 설명합니다.

---

내 상황에 적용하려면?

새 페이지가 발견될 경로부터 만들어 둡니다.

• 새 페이지를 사이트맵에 포함했습니다
• 다른 페이지에서 새 페이지로 내부 링크를 걸었습니다
• 구글 서치 콘솔에서 마지막 크롤링 시점을 확인했습니다
• 서버 응답이 느려 크롤링이 지연되지는 않는지 점검했습니다

---

크롤링에 대한 흔한 오해는 무엇인가요?

발견과 노출을 같은 단계로 착각하기 쉽습니다.

크롤링을 수행하는 프로그램은 구글봇, 다음 단계는 색인, 수집 범위를 정하는 방법은 robots.txt 항목에서 다룹니다.

---

자주 묻는 질문

크롤링과 색인은 같은 말인가요?

다릅니다. 크롤링은 페이지를 발견해 내용을 수집하는 단계이고, 색인은 그 내용을 검색 데이터베이스에 저장하는 다음 단계입니다.

새 페이지가 크롤링됐는지 어떻게 확인하나요?

구글 서치 콘솔의 URL 검사 도구에 주소를 입력하면 마지막 크롤링 시점과 색인 상태를 확인할 수 있습니다.

크롤링을 빠르게 유도하는 방법이 있나요?

사이트맵을 제출하고 다른 페이지에서 새 페이지로 내부 링크를 연결하면 발견 경로가 늘어나 도움이 됩니다.

참고 자료

• Google 검색 센터, Google 검색 작동 방식(크롤링·색인·게재).
• Ahrefs, 검색 트래픽 연구(약 140억 페이지 조사, 96.55%가 구글 트래픽 0).