LLMとGoogleのクロールとインデックスの違い

イントロ

Googleは25年間、一つのコアシステムを完成させることに注力してきました：

クロール → インデックス → ランク付け → 提供

しかし現代のAI検索エンジン——ChatGPT Search、Perplexity、Gemini、Copilot——は全く異なるアーキテクチャで動作する：

クロール → 埋め込み → 取得 → 合成

これらのシステムは従来の意味での検索エンジンではない。 文書をランク付けしない。 キーワードを評価しない。 PageRankを計算しない。

代わりに、LLMはウェブを意味に圧縮し、その意味をベクトルとして保存し、以下に基づいて回答を再構築します：

• 意味理解

• 合意形成シグナル

• 信頼パターン

• 検索スコアリング

• 文脈推論

• エンティティの明確性

• プロバンス

これはマーケターがコンテンツの構造化、エンティティの定義、権威性の構築方法を根本的に再考する必要があることを意味します。

本ガイドでは、LLMがウェブを「クロール」する方法、それを「インデックス」する方法、そしてそのプロセスがGoogleの従来の検索パイプラインとは全く異なる理由を解説します。

1. Googleのパイプライン vs. LLMのパイプライン

両システムを可能な限り簡潔に比較します。

Googleパイプライン（従来型検索）

Googleは予測可能な4段階のアーキテクチャに従います：

1. クロール

Googlebotがページを取得します。

2. インデックス

Googleはテキストを解析し、トークンを保存し、キーワードを抽出し、スコアリングシグナルを適用します。

3. ランク付け

アルゴリズム（PageRank、BERT、評価者ガイドラインなど）がどのURLを表示するかを決定します。

4. 提供

ユーザーは順位付けされたURLリストを閲覧します。

このシステムはURLファースト、ドキュメントファースト、キーワードファーストである。

LLMパイプライン（AI検索＋モデル推論）

LLMは全く異なるスタックを使用します：

1. クロール

AIエージェントがオープンウェブと高信頼性ソースからコンテンツを取得します。

2. 埋め込み

コンテンツはベクトル埋め込み（高密度な意味表現）に変換されます。

3. 取得

クエリが到着すると、意味検索システムがURLではなく最適な対応ベクトルを抽出します。

4. 統合

LLMが情報を統合して物語形式の回答を生成し、必要に応じて出典を引用します。

このシステムは意味優先、エンティティ優先、文脈優先である。

LLM駆動型検索では、関連性はランキングではなく関係性を通じて算出される。

2. LLMクローリングの実態（Googleとは全く異なる）

LLMシステムは単一の巨大なクローラーを運用しません。 ハイブリッドなクローリング層を使用します：

レイヤー1 — トレーニングデータクロール（大規模、低速、基盤的）

これには以下が含まれます：

• Common Crawl

• ウィキペディア

• 政府データセット

• 参考資料

• 書籍

• ニュースアーカイブ

• 高権威サイト

• Q&Aサイト

• 学術情報源

• ライセンスコンテンツ

このクロールには数か月、時には数年を要し、基礎モデルを生成します。

このクロールに「SEO対策」で介入することは不可能だ。 影響を与える手段は：

• 権威あるサイトからのバックリンク

• 強力なエンティティ定義

• 広範な言及

• 一貫した記述

ここでエンティティ埋め込みが最初に形成される。

レイヤー2 — リアルタイム検索クローラー（高速、頻繁、狭域）

ChatGPT Search、Perplexity、Geminiにはライブクロール層が存在します：

• リアルタイムフェッチャー

• オンデマンドボット

• 最新コンテンツ検出器

• 正規URL解決ツール

• 引用クローラー

これらはGooglebotとは異なる挙動を示します：

• ✔ 取得するページ数が大幅に少ない

• ✔ 信頼できる情報源を優先する

• ✔ 主要セクションのみを解析

• ✔ キーワード索引ではなく意味的要約を生成する

• ✔ エンベディングを保存し、トークンは保存しない

ページは「順位付け」される必要はなく、 モデルが意味を容易に抽出できる状態であることが求められます。

レイヤー3 — RAG（検索拡張生成）パイプライン

多くのAI検索エンジンは、ミニ検索エンジンのように動作するRAGシステムを採用しています：

• 独自の埋め込みを構築する

• 独自のセマンティックインデックスを維持する

• コンテンツの新鮮さを確認する

• 構造化された要約を優先する

• 文書をAI適性に基づいてスコアリングする

この層は機械可読性を最優先とする — キーワードよりも構造が重要である。

レイヤー4 — 内部モデルクローリング（「ソフトクローリング」）

LLMがウェブをクロールしていなくても、自身の知識を「クロール」します：

• 埋め込み

• クラスター

• エンティティグラフ

• 合意パターン

コンテンツを公開すると、LLMは以下を評価します：

• これは既存の知識を補強するか？

• コンセンサスと矛盾するか？

• 曖昧なエンティティを明確化するか？

• 事実の信頼性を向上させるか？

このソフトクロールこそがLLMOの真価が発揮される領域です。

3. LLMがウェブを「インデックス」する方法（Googleとは全く異なる）

Googleのインデックスが保存するのは：

• トークン

• キーワード

• 逆引きインデックス

• ページメタデータ

• リンクグラフ

• 鮮度シグナル

LLMが保存するのは：

• ✔ ベクトル（密な意味）

• ✔ 意味的クラスター

• ✔ エンティティ関係

• ✔ 概念マップ

• ✔ コンセンサス表現

• ✔ 事実確率重み

• ✔ プロバニエンス信号

この違いは強調してもしすぎることはありません：

**Googleは文書をインデックス化する。

LLMは意味をインデックス化する。**

インデックス化のために最適化するのではありません—— 理解のために最適化するのです。

4. LLM「インデックス化」の6段階

LLMがページを処理する際の段階：

段階1 — チャンキング

ページは意味ブロック（段落ではない）に分割される。

構造化されたコンテンツ = 予測可能なチャンク。

ステージ2 — 埋め込み

各チャンクはベクトル（意味の数学的表現）に変換されます。

弱く不明確な文章 = ノイズの多い埋め込み表現。

ステージ3 — エンティティ抽出

LLMは以下のようなエンティティを識別する：

• ランクトラッカー

• キーワードリサーチ

• バックリンク分析

• AIO

• SEOツール

• 競合他社の名前

エンティティが不安定な場合 → インデックス作成に失敗する。

ステージ4 — 意味的連結

LLMはコンテンツを以下と関連付けます：

• 関連概念

• 関連ブランド

• クラスタートピック

• 標準的な定義

弱いクラスター = 弱い意味的リンク。

ステージ5 — コンセンサス調整

LLMは事実を以下と比較します：

• ウィキペディア

• 政府情報源

• 高権威サイト

• 確立された定義

矛盾 = ペナルティ。

ステージ6 — 信頼度スコアリング

LLMはコンテンツに確率重みを割り当てます：

• 信頼性はどの程度か？

• 一貫性は？

• 独自性は？

• 権威ある情報源との整合性は？

• 時間の経過に伴う安定性は？

これらのスコアによって生成回答への採用が決定されます。

5. LLMの「インデックス化」がSEO戦略を時代遅れにする理由

主な影響は以下の通り：

• ❌ キーワードは関連性を決定しません。

関連性は文字列の一致ではなく、意味論的な意味から生まれます。

• ❌ リンクの重要度は異なる。

バックリンクはPageRankではなく、エンティティの安定性と 合意を強化します。

• ❌ 薄いコンテンツは即座に無視される。

安定した埋め込みを構築できない場合 → 無意味である。

• ❌ 重複コンテンツは信頼を損なう。

LLMは反復パターンや非オリジナルテキストを低評価する。

• ❌ E-A-Tは信頼性の証明へと進化する。

もはや「専門性のシグナル」が重要なのではなく、 追跡可能な真正性と信頼性が重要だ。

• ❌ コンテンツファームは崩壊する。

LLMは独自性が低く、出所不明のページを抑制する。

• ❌ ランキングは存在しない ― 引用こそが存在する。

可視性＝合成過程で選択されること。

6. LLMがウェブコンテンツで重視するもの（新たなランキング要因）

LLMが最優先する特性：

• ✔ 明確な定義

• ✔ 安定したエンティティ

• ✔ 構造化されたコンテンツ

• ✔ コンセンサス整合性

• ✔ 深いトピックの掘り下げ

• ✔ スキーマ

• ✔ 独自の洞察

• ✔ 著者の帰属

• ✔ 曖昧さの低さ

• ✔ 一貫したクラスター

• ✔ 高い信頼性の情報源

• ✔ 再現可能な事実

• ✔ 論理的なフォーマット

コンテンツがこれら全てを満たす場合 → 「LLMが好む」コンテンツとなる。

満たさない場合 → 不可視化される。

7. マーケターが適応すべき実用的な差異

**Googleはキーワードを評価する。

LLMは明瞭さを評価する。**

**Googleはバックリンクを評価する。

LLMは合意を評価する。**

**Googleは関連性を評価する。

LLMは意味的権威を評価する。**

**Googleは文書をランク付けする。

LLMは情報を選択する。**

**Googleはページをインデックス化する。

LLMは意味を埋め込む。**

これらは些細な違いではない。 コンテンツ戦略全体の再構築を必要とする。

最終的な考察：

最適化の対象はクローラーではない ― 知能システムだ

Googlebotは収集者です。 LLMは解釈者です。

Googleはデータを保存する。 LLMは意味を保存する。

GoogleはURLをランク付けする。 LLMは知識で推論する。

この変化は新たなアプローチを要求する——それは以下に基づくものだ：

• エンティティの安定性

• 規範的定義

• 構造化されたコンテンツ

• 意味的クラスター

• クロスソース合意

• 出所

• 信頼性

• 明瞭性

これはSEOの進化ではない—— 検索システムの置き換えである。

2025年以降も可視性を維持したいなら、Googleの視点ではなくAIの視点でウェブを最適化すべきだ。