WEB上のページをGooglebotがクロールする能力に限界があり、場合によって、あるURLがクロールされないことがあります。このGooglebotがクロールできる限界のことを「クロールバジェット」と呼びます。

GoogleのGary Illyes氏によるとほとんどのサイト運営者が気にするものではないものと言っています。

新しいページが公開された日にクロールされる傾向がある場合、クロール バジェットはまったく気にしなくていいものです。同様に、サイトのURL数が数千未満の場合、ほとんどの場合、効率的にクロールされます。

クロール バジェットの影響を受けるケースは
より大きなサイトや、URLパラメータに基づいてページを自動生成するサイトです。

サイトを訪れるユーザーのエクスペリエンスを低下させないようにしながら特定のサイトの最大取得レートを制限します。これを「クロールレート制限」といいます。

関連記事：Googlebot のクロールの割り当てについて

格安SEOのTOPページへ戻る