크롤링되었지만 색인되지 않은 오류의 원인에 대한 Google의 설명

소개

최근 불가리아에서 열린 SERP Conf 2024 컨퍼런스에서 Google의 Gary Illyes는 인터뷰에서 "크롤링되었지만 색인되지 않은" 오류의 원인에 대해 설명했습니다. 그의 인사이트는 이 일반적인 문제를 조명하고 문제 해결을 위한 귀중한 지침을 제공합니다.

핵심 포인트:

1. 콘텐츠 유사성:

• 일리스는 이 오류의 원인 중 하나가 콘텐츠 유사성임을 확인했습니다. 페이지의 콘텐츠가 이미 색인된 다른 콘텐츠와 매우 유사한 경우 Google은 해당 콘텐츠를 색인하지 않을 수 있습니다.

2. 일반 사이트 품질:

• 웹사이트의 전반적인 품질은 색인 생성에 큰 영향을 미칩니다. "크롤링되었지만 색인되지 않은" 페이지가 많다는 것은 사이트의 품질 문제를 나타낼 수 있습니다.

3. 기술적 문제:

• 여러 URL에 걸쳐 동일한 콘텐츠를 제공하는 등의 기술적 문제도 이 오류를 유발할 수 있습니다. 이러한 문제가 감지되면 사이트에 대한 Google의 인식이 바뀔 수 있습니다.

4. 복제:

• 중복 콘텐츠는 또 다른 주요 요인입니다. Google은 페이지를 크롤링하지만 더 나은 신호를 가진 유사한 버전이 이미 색인에 존재하는 경우 색인하지 않기로 결정할 수 있습니다.

자세한 설명:

인터뷰에서 일리예스는 '크롤링되었지만 색인되지 않음' 오류가 페이지가 이미 색인된 콘텐츠와 너무 유사해서 발생할 수 있는지에 대한 질문에 답변했습니다. 그는 이것이 한 가지 원인일 수 있다고 확인했지만 여러 가지 요인이 이 문제를 일으킨다고 강조했습니다.

세분성 및 복잡성:

일리스는 Google 내부에서 데이터를 처리하는 방식 때문에 이러한 오류를 분류하는 것이 복잡하다고 지적했습니다. 그는 콘텐츠 중복이 중요한 요인이기는 하지만 이 오류의 다른 잠재적 원인도 많다고 설명했습니다.

품질 문제:

일리스는 사이트의 일반적인 품질이 색인 생성에 큰 영향을 미칠 수 있다고 강조했습니다. "크롤링되었지만 색인되지 않은" 페이지가 급증하면 사이트의 품질에 대한 Google의 인식이 떨어지고 있음을 암시할 수 있습니다. 이는 콘텐츠 불량이나 기술적 오류 등 다양한 원인으로 인해 발생할 수 있습니다.

기술적 문제:

웹사이트가 다른 URL에 동일한 콘텐츠를 실수로 제공하는 등의 기술적 문제도 이 문제를 일으킬 수 있습니다. 이러한 오류로 인해 Google은 색인 생성 결정을 재고할 수 있습니다.

사이트 신호:

일리스는 더 나은 시그널을 가진 다른 사이트에서 동일한 콘텐츠를 호스팅하는 경우 Google이 그 사이트를 색인하는 것을 선호할 수 있다고 언급했습니다. 이러한 시나리오는 원본 게시자의 버전이 색인되지 않는 신디케이트된 콘텐츠에서 종종 발생합니다.

실용적인 팁:

이러한 원인을 이해하면 웹마스터가 '크롤링되었지만 색인되지 않은' 오류를 디버그하고 수정하는 데 도움이 될 수 있습니다. 주요 조치는 다음과 같습니다:

• 콘텐츠 유사성을 검토합니다: 콘텐츠가 고유하고 기존 색인된 콘텐츠와 너무 유사하지 않은지 확인하세요.

• 사이트 품질 향상: 사이트의 전반적인 품질을 개선하는 데 집중하여 Google의 인식을 개선하세요.

• 기술적 문제 해결: 콘텐츠 중복이나 기타 문제를 일으킬 수 있는 기술적 문제를 해결합니다.

• 사이트 신호 모니터링: 특히 콘텐츠가 신디케이트된 경우 사이트의 신호가 다른 사이트와 어떻게 비교되는지 파악하세요.

이러한 영역을 해결하면 Google에서 페이지를 색인화할 가능성을 높일 수 있습니다.