クロールエラーとは？

クロールエラー

クロールエラーとは？

クロールエラーとは、検索エンジンのスパイダーがウェブサイトをクロールしようとして失敗することです。Googleのような検索エンジンがウェブサイトのコンテンツにアクセスし、インデックスを作成しようとする際、それを妨げる問題に遭遇することがあります。これらの問題は、クロールエラーとして分類されます。GoogleのSearch Consoleでは、クロールエラーを大きく2つに分類しています：サイトエラーとURLエラーです。

クロールエラーの種類

サイトエラー

サイトエラーはウェブサイト全体に影響し、検索エンジンがその一部にアクセスすることを妨げます。よくあるサイトエラーは以下の通りです：

DNSエラー：
- ドメインネームシステム（DNS）に問題があり、検索エンジンがウェブサイトを見つけられない。これは、DNSの設定ミスやサーバーの問題が原因である可能性があります。
サーバー接続エラー：
- 検索エンジンのリクエストに応答できないサーバーの問題。これには、サーバーの過負荷、ダウンタイム、またはサーバーの設定ミスが含まれます。
Robots.txtのエラー：
- robots.txtファイルに問題があり、検索エンジンがウェブサイトをクロールできない。ファイルが見つからない、設定が正しくない、またはクロールを妨げるディレクティブが含まれている場合に発生する可能性があります。

URLエラー

URLエラーは、ウェブサイト上の特定のURLに影響を与え、検索エンジンがそれらの個々のページにアクセスするのを妨げます。一般的なURLエラーには以下のようなものがある：

ソフト404エラー：
- ユーザーには "Page Not Found "のメッセージを返すが、検索エンジンには200（OK）のステータスコードを送るページ。これは検索エンジンを混乱させ、クロールの予算を浪費する。
404エラー
- サーバー上に存在せず、「404 Not Found」ステータスコードを返すページ。このようなエラーは、URLの入力ミスや、適切なリダイレクトを行わずにページを削除または移動した場合に発生します。
アクセス拒否：
- 検索エンジンのボットへのアクセスを制限しているページで、通常はパーミッション設定や認証要件が原因です。
フォローされていない：
- リダイレクト、JavaScript、その他の技術的要因の問題により、検索エンジンがたどれないページ。

クロールエラーはなぜ重要なのか？

大量のクロールエラーは、ウェブサイトの健全性が低いことを示し、ユーザーエクスペリエンスと検索エンジンのランキングの両方に悪影響を及ぼします。クロールエラーは次のような事態を引き起こします：

クロール頻度の減少：
- 検索エンジンは、多くのエラーが発生した場合、新しいコンテンツや更新されたコンテンツのインデックスの遅れにつながる、あなたのサイトを訪問する頻度が低くなる可能性があります。
這う深さの減少：
- 検索エンジンは、あなたのサイトのすべてのページをクロールしない可能性があり、インデックスしてほしい重要なコンテンツを見逃す可能性があります。
SEOへの悪影響：
- クロールエラーが多発すると、サイトのメンテナンスが不十分であることを検索エンジンに知らせることになり、検索順位に悪影響を及ぼします。

クロールエラーの特定と修正方法

クロールエラーの特定

Google Search Console を使用して、クロールエラーを監視および特定します。このツールは、サイトエラーと URL エラーの両方に関する詳細なレポートを提供し、サイトに影響を与える特定の問題を特定するのに役立ちます。

Google Search Consoleにログインする。
カバレッジ・レポートに移動する。
検出されたエラーのリストを確認する。
特定のエラーをクリックすると、詳細と該当するURLが表示されます。

クロールエラーの修正

DNSエラー：
- DNS設定を確認し、修正してください。必要に応じて、ホスティングプロバイダにお問い合わせください。
サーバー接続エラー：
- サーバーが適切に設定され、トラフィックを処理できることを確認します。サーバーのダウンタイムや過負荷の問題に対処する。
Robots.txtのエラー：
- robots.txtファイルが適切に設定されているか確認してください。サイトの重要な部分をブロックしていないか確認してください。
ソフト404と404エラー：
- リンク切れを修正またはリダイレクトする。削除または移動されたページが、関連するコンテンツに適切に301リダイレクトされていることを確認する。
アクセス拒否：
- 検索エンジンのボットが重要なページにアクセスできるように権限設定を調整する。認証要件が重要なコンテンツをブロックしないようにする。
フォローされていない：
- リダイレクトやJavaScriptなど、検索エンジンがリンクをたどるのを妨げている要因の問題を見直し、修正する。

結論

健全なウェブサイトを維持し、検索エンジンのパフォーマンスを最適化するためには、クロールエラーを特定して修正することが重要です。Google Search Consoleなどのツールを使用してサイトのクロール状況を定期的に監視し、問題があれば速やかに対処してユーザーエクスペリエンスと検索エンジンランキングを向上させましょう。

クロールエラー