구글 SEO
구글봇
Googlebot 다른 표기: Googlebot, 구글 크롤러
구글봇은 구글이 웹페이지를 발견하고 콘텐츠를 수집하기 위해 운영하는 자동화된 크롤러 프로그램입니다.
- 구글봇이 스마트폰·데스크톱 두 버전으로 나뉜다는 점
- 구글봇이 페이지를 발견하고 수집하는 순서
- 방문 빈도와 수집 용량을 정하는 기준
구글봇은 어디에서 쓰이나요?
서버 로그에서 자동화 프로그램의 방문 기록을 확인하거나, robots.txt에서 접근 범위를 지정할 때 이 이름을 씁니다.
- 서버 접속 로그에서 특정 크롤러의 방문 기록을 구분할 때
- robots.txt 파일에서 접근을 허용하거나 차단할 크롤러를 지정할 때
- 서치 콘솔의 크롤링 통계 보고서에서 방문 이력을 확인할 때
구글봇은 어떻게 작동하나요?
구글봇은 주소 확인, 접근 권한 확인, 콘텐츠 수집 순서로 페이지를 가져갑니다.
- 주소 확인 사이트맵과 링크를 따라 방문할 URL 주소를 찾습니다.
- 접근 권한 확인 스마트폰 버전과 데스크톱 버전 모두 같은 robots.txt 규칙을 따릅니다.
- 콘텐츠 수집 정해진 용량 한도 안에서 페이지 내용을 가져옵니다.
| 요소 | 어떤 영향을 주나 | 내가 할 수 있는 것 |
|---|---|---|
| 크롤러 버전 | 스마트폰 버전 콘텐츠가 색인 기준이 됩니다 | 반응형 설계로 두 버전 콘텐츠를 동일하게 유지합니다 |
| 방문 빈도 | 사이트 규모와 서버 응답 속도에 따라 달라집니다 | 서치 콘솔에서 크롤링 속도 제한 옵션을 조정합니다 |
| 수집 용량 | 일반 파일 2MB, PDF 64MB까지만 가져갑니다 | 핵심 콘텐츠를 이 용량 안에 배치합니다 |
구글봇이 왜 중요한가요?
구글봇이 페이지를 발견해 방문하지 못하면 다음 단계인 색인 자체가 시작되지 않습니다.
구글봇은 평균적으로 몇 초에 한 번꼴로만 접속하도록 설계돼 있습니다(구글 검색 센터).
구글봇이라는 개념은 왜 생겼나요?
사람이 일일이 모든 웹사이트를 방문해 내용을 확인할 수 없어, 자동으로 웹을 돌아다니며 페이지를 가져오는 프로그램이 필요했습니다. 실제 검색 이용자 대부분이 모바일에서 검색하는 쪽으로 바뀌면서 스마트폰 버전 크롤러가 기준이 됐습니다.
내 상황에 적용하려면?
로그와 설정 파일부터 확인하면 됩니다.
- 서버 로그나 서치 콘솔에서 구글봇 방문 이력을 확인했습니다
- robots.txt에서 접근을 막을 영역과 허용할 영역을 구분했습니다
- 사이트맵을 제출해 새 페이지 발견 경로를 넓혔습니다
- 핵심 콘텐츠 파일이 수집 용량 한도 안에 있는지 확인했습니다
구글봇에 대한 흔한 오해는 무엇인가요?
| 오해 | 실제 |
|---|---|
| 구글봇은 하나의 프로그램뿐입니다 | 스마트폰 버전과 데스크톱 버전 두 종류로 나뉘어 동작합니다 |
| 구글봇 방문 빈도를 마음대로 늘릴 수 있습니다 | 구글이 사이트 규모와 서버 응답 속도를 보고 알고리즘으로 정합니다 |
구글봇이 페이지를 수집하는 과정 전체는 크롤링, 수집 범위를 지정하는 파일은 robots.txt, 사이트 규모에 따른 방문 배분 개념은 크롤 예산 항목에서 다룹니다.
자주 묻는 질문
구글봇 방문을 강제로 유도할 수 있나요?
직접 강제할 수는 없습니다. 사이트맵 제출과 내부 링크 연결로 발견 경로를 늘려 방문 가능성을 높일 수 있습니다.
구글봇이 접속했는지 어떻게 확인하나요?
서버 접속 로그의 user-agent 값을 확인하거나, 서치 콘솔의 크롤링 통계 보고서로 방문 이력을 볼 수 있습니다.
구글봇 접근을 막으면 어떻게 되나요?
robots.txt로 막은 영역은 수집하지 않지만, 다른 사이트에서 링크된 URL은 여전히 색인될 수 있습니다.
참고 자료
이 페이지가 도움이 되었나요?
10초면 됩니다 · 남겨주신 의견은 다음 개정에 반영됩니다