구글봇이란 무엇인가요?
구글봇은 검색 색인 등 다양한 구글 서비스를 위해 정보를 수집하는 구글의 웹 크롤러에 부여된 이름입니다.
두 가지 주요 버전이 있습니다: 구글봇 데스크톱과 구글봇 스마트폰이 있습니다. 모바일 우선 인덱싱을 통해 Googlebot 스마트폰은 Google의 검색 색인을 생성하는 기본 크롤러가 되었습니다.
그렇다면 Googlebot은 어떻게 작동할까요?
Google봇은 지속적으로 웹을 크롤링하여 새 페이지를 발견하고, 처리할 페이지를 전송하여 검색 색인에 추가하며, 페이지를 다시 크롤링하여 새/업데이트된 정보를 찾습니다.
이 과정에서 Googlebot은 페이지 및 링크의 크롤러에 대한 robots.txt 파일 및 지시문의 규칙을 엄격하게 따릅니다.
구글봇이 중요한 이유는 무엇인가요?
Google봇은 전체 Google 검색 엔진을 구동하는 주요 도구 중 하나입니다. Google봇이 없었다면 전체 검색(따라서 SEO)은 존재하지 않았을 것입니다. Google봇이 웹사이트를 크롤링하지 않으면 색인화되지 않고 결과에 표시되지 않습니다.
따라서 SEO 전문가와 웹마스터는 구글봇의 작동 방식을 이해해야 합니다. 또한 크롤러가 크롤링 가능성이나 검색 가능성 문제 없이 사이트에 제대로 액세스할 수 있도록 하는 것이 중요합니다.
크롤링 친화적인 웹사이트를 위한 모범 사례
Google봇이 웹사이트를 제대로 크롤링하고 페이지 색인을 생성하도록 하려면 몇 가지 사항이 제대로 갖추어져 있는지 확인해야 합니다. 일회성 이벤트가 아니므로 다음은 크롤링 친화적인 웹사이트를 유지하기 위해 정기적으로 따라야 할 몇 가지 모범 사례입니다.
1. Robots.txt 파일 확인
웹사이트의 Robots.txt 파일을 사용하여 크롤링되는 항목을 제어할 수 있습니다. 이 파일은 크롤러 지시문을 사용하여 봇과 통신합니다.
robots.txt 파일이 색인화하려는 웹사이트의 페이지/섹션을 Google봇이 크롤링하지 못하도록 허용하지 않는지 확인해야 합니다.
그런 다음 robots.txt 테스트 도구를 사용하여 파일에 오류가 있는지 확인합니다.
서버 수준에서 차단되지 않았는지, 즉 Googlebot이 robots.txt에 액세스할 수 있는지 확인해야 합니다.
2. 사이트맵 제출
사이트맵을 제출하는 것은 어떤 페이지를 크롤링하고 색인을 생성할지 Google에 알리는 가장 간단한 방법입니다.
Yoast나 Rank Math 등 워드프레스에서 인기 있는 SEO 플러그인을 사용하면 사이트맵을 만드는 것이 까다롭지 않습니다. 이러한 플러그인은 자동으로 사이트맵을 생성하여 제출할 수 있습니다.
생성된 URL은 다음과 같습니다: yourdomainname.com/sitemap_index.html
사이트맵 URL을 수동으로 제출하려면 구글 검색 콘솔을 방문하여 메인 메뉴의 '색인' 섹션에서 '사이트맵'을 클릭해야 합니다.
3. 현명한 크롤러 지시어 사용
robots.txt 파일 외에도 크롤러에게 크롤링할 수 있는 페이지(또는 허용되지 않는 페이지)를 알려주는 페이지 수준 지시문이 있습니다.
따라서 색인을 생성하려는 페이지에 "noindex" 지시어가 없는지 확인해야 합니다. 마찬가지로 발신 링크도 크롤링하려면 "nofollow" 지시어가 없는지 확인해야 합니다.
크롬 및 파이어폭스용 SEO 툴바를 사용하여 페이지의 지시문을 확인할 수 있습니다.
4. 페이지 간 내부 링크 제공
페이지가 더 빨리 색인되도록 돕는 또 다른 간단한 방법은 이미 색인된 다른 페이지에 링크하는 것입니다. Google봇은 페이지를 다시 크롤링하기 때문에 내부 링크를 찾아서 빠르게 크롤링합니다.
크롤링 외에도 내부 링크는 페이지에 소위 '링크 주스'를 전달하여 페이지 순위를 높입니다.
5. 사이트 감사를 사용하여 크롤링 가능성 및 색인 가능성 문제 찾기
마지막으로 사이트 감사 도구를 사용하여 웹사이트의 색인성 및 크롤링 가능성과 관련된 문제를 찾을 수 있습니다.
사이트 감사는 깨진 페이지, 과도한 리디렉션, 리디렉션 체인, 노인덱스 페이지, 노팔로우 링크, 고아 페이지(내부 링크가 없는 페이지) 등을 찾는 데 도움이 될 수 있습니다.
Ranktracker의 웹 감사 같은 도구를 사용하여 웹사이트의 SEO 상태를 무료로 모니터링할 수 있습니다.
자주 묻는 질문
크롤링과 인덱싱은 같은 의미인가요?
아니요, 둘은 동일하지 않습니다. 크롤링은 웹에서 페이지와 링크를 발견하는 것을 의미합니다. 인덱싱은 크롤링 중에 발견한 콘텐츠와 페이지 간의 연결을 저장, 분석, 정리하는 것을 말합니다.
페이지가 색인된 후에야 관련 쿼리에 대한 결과로 표시될 수 있습니다.
내 사이트에 액세스하는 웹 크롤러가 정말 구글봇인지 확인할 수 있나요?
스패머나 기타 문제 발생자가 Google봇을 사칭하여 웹사이트에 액세스할 수 있다고 우려되는 경우 크롤러를 확인하여 해당 크롤러가 실제로 Google 크롤러인지 확인할 수 있습니다.
Googlebot의 메인 크롤러는 무엇인가요?
구글봇 스마트폰은 현재 주요 크롤러입니다.
사용자 에이전트 토큰: 구글봇
전체 사용자 에이전트 문자열: Mozilla/5.0(Linux, 안드로이드 6.0.1, 넥서스 5X 빌드/MMB29P) AppleWebKit/537.36(KHTML, 게코 등) Chrome/W.X.Y.Z 모바일 사파리/537.36(호환, Googlebot/2.1, +http://www.google.com/bot.html)
구글봇 크롤러의 전체 목록은 여기에서 확인할 수 있습니다.
