크롤링 예산이란 무엇인가요?
크롤링 예산은 검색 엔진이 특정 웹사이트를 크롤링하는 데 할당하는 시간 및 리소스의 양입니다. 즉, 검색 엔진이 특정 시간 내에 사이트에서 크롤링할 수 있는 최대 페이지 수입니다. 크롤링 예산은 검색 엔진(또는 크롤러)에 따라 다를 수 있습니다.
구글은 크롤링 예산에 대해 걱정할 필요가 없다고 말합니다:
- 사이트에는 일주일에 한 번 정도 변경되는 콘텐츠가 포함된 100만 개 이상의 고유 페이지가 있습니다.
- 중간 규모의 웹사이트(약 10,000페이지)를 운영하며 콘텐츠를 자주(매일) 변경합니다.
- 뉴스 웹사이트를 운영하고 있습니다.
- 검색 콘솔은 대부분의 사이트 URL을 "검색됨 - 현재 색인되지 않음"으로 분류합니다.
웹사이트마다 두 가지 주요 요인에 따라 크롤링 예산이 다르게 책정됩니다:
- 크롤링 수요: 페이지 수, 게시/업데이트 빈도, 페이지의 인기도에 따라 정의됩니다.
- 크롤링 속도 제한: 서버 기능, 사이트 소유자가 Search Console에서 설정한 크롤링 제한, 검색 엔진의 크롤링 제한, 서버 응답 시간에 따른 Google의 자동 조정에 의해 영향을 받습니다.
크롤링 예산이 중요한 이유는 무엇인가요?
크롤링 예산은 Google봇이 사이트에서 크롤링할 수 있는 페이지 수와 Google봇이 웹 페이지를 다시 크롤링하여 색인을 업데이트하는 빈도에 영향을 미치기 때문에 중요합니다. Google은 막대한 리소스를 보유하고 있지만 인터넷의 모든 페이지를 크롤링(그리고 정기적으로 다시 크롤링)할 수는 없습니다. 따라서 Google은 웹사이트에 크롤링 예산을 할당합니다.
중요하지 않은 페이지에 크롤링 예산이 낭비되지 않도록 웹사이트의 크롤링 효율을 최적화하는 데 집중하세요.
크롤링 예산을 늘리려면 어떻게 해야 하나요?
1. 서버 속도 향상 및 페이지 로딩 시간 단축
서버 응답 시간과 페이지 로딩 속도는 크롤링에 직접적인 영향을 미칩니다. Google봇은 사이트를 크롤링할 때 먼저 리소스를 다운로드한 다음 이를 처리합니다. 서버가 빠르게 응답하면 Google봇이 웹사이트의 더 많은 페이지를 크롤링할 수 있습니다.
- 빠르고 안정적인 웹 호스팅 서비스 및 CDN(콘텐츠 전송 네트워크)을 사용하여 서버 초기 응답 시간을 개선하세요.
- robots.txt를 사용하여 크지만 중요하지 않은 리소스의 크롤링을 방지하고, 긴 리디렉션 체인을 피하고, 무겁고 잘못 코딩된 테마 및 플러그인을 제거하여 페이지 로딩 시간을 단축하세요.
2. 링크 추가하기
페이지에 대한 링크 수는 Google에서 해당 페이지의 중요성을 나타냅니다. Google봇은 백링크와 내부 링크가 많은 페이지를 우선적으로 크롤링합니다. 페이지에 더 많은 외부 및 내부 링크를 추가하여 크롤링 예산을 늘리세요.
- 내부 링크 제안을 받으려면 Ranktracker의 사이트 감사와 같은 도구를 사용하여 웹사이트를 감사하세요.
3. 끊어진 링크 수정 및 리디렉션 감소
깨진 내부 링크(404 또는 410 응답 코드)와 리디렉션된 URL(3xx)이 너무 많으면 사이트의 크롤링 예산이 낭비될 수 있습니다. 깨진 링크와 불필요한 리디렉션을 수정하여 크롤링 예산을 최적화하세요.
- Ranktracker의 사이트 감사와 같은 도구를 사용하여 사이트의 깨진 URL과 리디렉션 URL을 찾아보세요.
4. 가능하면 인덱싱 API 사용
인덱싱 API를 사용하면 사이트에서 페이지를 추가, 제거 또는 업데이트할 때마다 Google에 직접 알릴 수 있습니다. 이렇게 하면 페이지의 크롤링 속도를 높일 수 있습니다.
- 참고: 인덱싱 API는 현재 라이브 동영상 및 채용 공고와 같은 특정 사용 사례에 사용할 수 있습니다.
자주 묻는 질문
Googlebot은 Robots.txt의 크롤링 지연을 존중하나요?
아니요, Google봇은 robots.txt 파일에 적용된 크롤링 지연 설정을 존중하지 않습니다.
크롤링 예산은 언제 신경 써야 하나요?
콘텐츠가 매우 자주(매일) 변경되는 대규모 사이트(100만 페이지 이상)나 중간 규모의 웹사이트를 운영하는 경우 크롤링 예산에 신경을 써야 합니다. 대부분의 사이트는 크롤링 예산에 대해 걱정할 필요가 없습니다.
내 웹사이트의 크롤링 예산은 어떻게 확인할 수 있나요?
크롤링 예산의 정확한 수치는 어디에서도 찾을 수 없습니다. 하지만 구글 검색 콘솔의 크롤링 통계 보고서에서 구글 크롤링 활동의 개요를 확인할 수 있습니다.
웹사이트의 SEO 및 크롤링 효율 개선에 대한 더 많은 인사이트를 얻으려면 Ranktracker 블로그를 방문하여 종합적인 SEO 가이드를 살펴보세요. 또한 SEO 용어집에서 주요 SEO 용어와 개념을 숙지하세요.
