クローラビリティとは何か？
クローラビリティとは、Googlebotなどの検索エンジンのクローラーがウェブサイトのページやリソースにアクセスする能力のことです。クローラビリティの問題は、ウェブサイトのオーガニック検索ランキングに悪影響を及ぼします。クローラビリティとインデクサビリティを区別することが重要です。後者は、検索エンジンがページを分析し、インデックスに追加する能力を指します。クロール可能なページとインデックス可能なページだけがGoogleに発見され、インデックスされ、検索エンジンの検索結果に表示されます。
なぜクローラビリティが重要なのか？
クローラビリティは、オーガニック検索トラフィックを受けようとするウェブサイトにとって不可欠です。クローラビリティは、検索エンジンがページをクロールしてコンテンツを読み、分析し、検索インデックスに追加することを可能にします。クロールがなければ、 ページを適切にインデックスすることはできません。Googleは、URLテキストとバックリンクのアンカーテキストに基づいて、クロールせずにURLをインデックスできることがありますが、ページのタイトルと説明はSERPに表示されません。
クローラビリティが重要なのはGoogleだけではありません。他の特定のクローラーも、様々な理由でウェブサイトのページをクロールする必要があります。例えば、RanktrackerのSite Auditボットは、SEOの健全性をチェックし、SEO上の問題があれば報告するためにウェブサイトのページをクロールします。
何がウェブサイトのクローラビリティに影響するのか？
1.ページの発見性
ウェブページをクロールする前に、クローラーはまずそのウェブページを発見しなければなりません。サイトマップに含まれていなかったり、内部リンクがないウェブページ（オーファンページと呼ばれる）はクローラーに発見されないため、クロールもインデックスもされません。インデックスさせたいページは、サイトマップに含まれていることと、内部リンクがあること（理想的には両方）が必要です。
2.ノーフォローリンク
Googlebotは "rel=nofollow "属性のリンクをフォローしません。例えば、nofollowのリンクが1つしかないページは、クロールの観点からはリンクが全くないのと同じです。
3.Robots.txtファイル
robots.txtファイルは、あなたのサイトのどの部分にアクセスできて、どの部分にアクセスできないかをウェブ・クローラーに伝えます。もしそのページをクローラブルにしたいのであれば、robots.txtでアクセス禁止にしてはいけません。
4.アクセス制限
ウェブページには、クローラーが到達できないような特定の制限を設けることができる：
- 何らかのログインシステム
- ユーザー・エージェント・ブラックリスト
- IPアドレスのブラックリスト化
ウェブサイトのクローラビリティの問題を見つける方法
ウェブサイトのクローラビリティの問題を検出する最も簡単な方法は、RanktrackerのSite Auditや無料のRanktracker Webmaster ToolsなどのSEOツールを使用することです。
Ranktracker ウェブマスターツールは、ウェブサイト全体をクロールし、新しい問題や繰り返し発生する問題を長期にわたって把握することができます。さらに、問題をさまざまなカテゴリーに分類し、サイトの全体的なSEOパフォーマンスやクロールできない理由をより深く理解するのに役立ちます。
よくあるご質問
クローラビリティとインデクサビリティの違いとは？
クローラビリティとは、検索エンジンがウェブページにアクセスし、そのコンテンツをクロールする能力のこと。インデックス可能性とは、検索エンジンがクロールしたコンテンツを分析してインデックスに追加する能力のこと。あるページがクロール可能でも、インデックス可能でない場合もある。
クロールせずにGoogleにインデックスさせることは可能か？
意外なことに、GoogleはクロールせずにURLをインデックスし、検索結果に表示させることができる。しかし、それはまれなことです。このような場合、GoogleはアンカーテキストとURLテキストを使ってページの目的とコンテンツの焦点を判断します。この場合、Googleはページのタイトルを表示しないことに注意してください。この現象については、Googleのrobots.txt入門で簡単に説明されています。
ウェブサイトのSEOを改善し、適切なクローラビリティを確保するためのより詳しい洞察については、Ranktrackerブログをご覧ください。さらに、当社のSEO用語集で主要なSEO用語や概念に精通してください。
