クロールバジェット管理と最適化

クロールバジェット管理と最適化

はじめに

クロールバジェットとは、Googleのクローラー（Googlebot）が一定期間内にサイトをクロールする回数の上限です。小規模サイト（数百ページ以下）ではほぼ問題になりませんが、数千〜数万ページ以上の大規模サイトでは、クロールバジェットの管理がインデックス効率に直結します。

クロールバジェットの決定要因

Googleがクロール量を決定する2つの要因を理解しましょう。

• ◆クロールレート制限: サーバーに過度な負荷をかけないための制限。サーバーレスポンスが速いほど多くクロールされる
• ◆クロール需要: Googleがサイトをクロールしたいと判断する度合い。人気度、更新頻度、ページ数が影響

クロール効率の改善

限られたクロールバジェットを重要なページに集中させる方法です。

• ◆不要ページのクロール抑制: robots.txtでパラメータ付きURL、管理画面、内部検索結果をブロック
• ◆カノニカルタグ: 重複コンテンツにrel="canonical"を設定し、正規URLをクローラーに明示
• ◆ファセットナビゲーション対策: ECサイトのフィルター機能で生成される大量のURL重複を制御
• ◆サイトマップ最適化: インデックスしたいページのみをサイトマップに含める。lastmod日時を正確に設定

ログファイル分析

サーバーログからGooglebotの実際のクロール状況を分析します。

• ◆アクセスログの取得: Webサーバー（Apache/Nginx）のアクセスログからGooglebot リクエストを抽出
• ◆クロール頻度の可視化: ページごとのクロール回数を集計し、重要ページが十分クロールされているか確認
• ◆ステータスコード分析: 404、301、500等のレスポンスの割合を確認。エラーが多いとクロール効率が低下
• ◆クロール対象の分析: クローラーが訪れているURLパターンを確認し、不要なクロールを特定
• ◆ツール: Screaming Frog Log File Analyser、Botify、カスタムスクリプト（Python + pandas）

大規模サイトのインデックス戦略

数万ページ以上のサイトのインデックス管理を学びます。

• ◆IndexNow: サイト更新時にBingとYandexに即座に通知するプロトコル。クロール待ちを短縮
• ◆Indexing API: Google公式のインデックスAPIは求人とライブ配信に限定。それ以外はサイトマップ経由
• ◆ページネーション: rel="next"/"prev"は廃止済み。各ページに固有のURLと自己参照canonicalを設定し、通常のリンクでページ間をつなぐ（1ページ目への一括canonicalや2ページ目以降のnoindexは、奥の記事・商品が発見されにくくなるため非推奨）。全件表示ページを用意する方法もある
• ◆パラメータ処理: URL Parameters ToolがSearch Consoleから廃止されたため、サーバーサイドでの正規化が必要

🏋️実践ワーク

以下の課題に取り組みましょう。

• ◆robots.txtを見直し、不要なクロールをブロックしてみましょう
• ◆サーバーログからGooglebotのクロール状況を抽出し、上位50ページの頻度を確認しましょう
• ◆サイトマップを再生成し、不要なURLを除外してみましょう

📝まとめ

クロールバジェットの管理は、大規模サイトのSEOにおいて最も重要なテクニカル施策の一つです。robots.txt、サイトマップ、カノニカルタグを適切に設定し、ログファイル分析でクローラーの行動を可視化することで、重要なページの確実なインデックスを実現できます。次の章では、構造化データの高度実装を学びます。