Googleにクローラーを巡回させることによって各WEBページの情報をインデックスしています。しかし、クロールをリクエストしなければクロール頻度が上がりません。さらに、コンテンツの品質が低いWEBサイトやリンク構造が貧弱なWEBサイトもクローラーが巡回しづらく、クローラーが巡回しないとインデックスがされないため、検索結果に表示されなくなります。

今回は、クロールを促す方法を解説します。

クローラーとは

クローラーとは、WEBページのコンテンツ内容を読み取ることによって検索エンジンにインデックスすることをいいます。つまり、クローラーとはWEBに書かれている内容を把握し、データベースに格納するロボットのことです。

 参考：クローラーとは？仕組みや検索結果にSEO上位表示させる方法を解説

クローラーの種類

Googleのクローラーには1種類ではなく、Googlebotをはじめとして複数の種類があります。Bingにはbingbotがありますが、Yahoo!JAPANが導入している検索エンジンはGoogleを使っているため、Googlebotに対して対策ができていれば日本でのWEBサイトはほぼ対応できていることになります。

クローラビリティとは

クローラビリティとは、クローラーが巡回しながらWEBサイトのコンテンツ内容を収集しやすいように最適化することをいいます。クローラビリティをよくすることで、WEBページが発見されやすくなり、Googleの評価向上につながります。

参考：クローラビリティとは？crawlabilityの具体的な改善方法を解説

レンダリング機能の活用方法

クローラーでサポートしていないJavaScriptで作られているインデックス登録可能なコンテンツの場合は、レンダリング機能を使う方法があります。この方法は、Googleでも推奨しています。

ダイナミック レンダリングは、JavaScript 生成コンテンツに検索エンジンが対応していない場合のウェブサイトでの回避策です。ダイナミック レンダリング サーバーは JavaScript 生成コンテンツに関して問題がある可能性のある bot を検知し、bot にはサーバーでレンダリングした JavaScript なしのバージョンを提供する一方で、ユーザーに対してはクライアントサイドでレンダリングされたバージョンのコンテンツを表示します。

引用：ダイナミック レンダリングを実装する（Google検索セントラル）

Googleにクロールをリクエストする手法

Googleにクロールをリクエストする場合は次のような手法が挙げられます。

XMLサイトマップの送信

Googleにクロールをリクエストするためには、XMLサイトマップを送信することで効果があります。XMLサイトマップの送信は、Search Consoleからおこないます。このことで、Googleのクローラーに巡回を促すことができるため、WEBサイト内のコンテンツがクロールするようにすることが可能です。

参考：サイトマップとは？作成方法やSEO効果について解説

URL検査ツールを利用する

URL検査ツールを使ってGoogleにクロールをする方法があります。URL検査ツールを使うためには、Search ConsoleのメニューにあるURL検査をクリックします。すると、入力したページのインデックス登録状況が表示され、インデックス登録リクエストをすることでクロールのリクエストが可能です。

すでにインデックスされているページをURL検査ツールで確認すると、登録されていますといった表示が出るのでインデックスされているかどうかを確認できます。

参考：サーチコンソールのURL検査ツールを使いこなす！

クロールリクエスト後のGoogleへの対応

Googleにクロールをリクエストしたあとは、どれくらいの割合でクロールされているかを確認することが重要です。検索方法は次の2種類が挙げられます。

検索結果からチェック

クロールの割合を確認する方法としてまず挙げられるのが検索結果のキャッシュリンクです。キャッシュリンクの利用方法ですが、Googleの検索窓に該当しているWEBページのURLを入力して検索します。検索結果にWEBページが表示されれば、インデックス登録が完了しています。さらに、検索結果のURL部分からキャッシュが確認でき、取得された日の確認も可能です。

サーチコンソールのクロールの統計情報からチェック

このほかにもSearch Consoleの統計状況から確認することも可能です。クロール統計情報からレポートを開くだけで簡単に確認できます。

クローラビリティを改善する方法

クローラビリティを改善することによって、WEBページが認識されやすくなり検索結果に反映するまでの時間が短くなる場合があります。クローラビリティを改善するためには次のような方法が挙げられます。

内部リンクの改善

クローラーはリンクを辿ってWEBサイト内をクロールするため、コンテンツと関連性のある記事への内部リンクを設定することにより、クロールしやすい環境づくりができます。しかし、内部リンクの数が多すぎると逆に評価落とす可能性があるため、関連性の高い内部リンクのみを設置するようにしてください。

サイトマップを送信

Google Search Consoleを使ってサイトマップを送信することによって、WEBサイトに書かれているコンテンツの内容を適切に伝えられます。

パンくずリストを整理

パンくずリストは内部リンクの働きをします。正しくパンくずリスト設定することによって、WEBサイト内の情報を読み取りやすくなります。

WEBページをクロールさせないようにするためには

Googleにクロールさせたくないページがある場合は、次の2つの方法が挙げられます。

robots.txtを使う

robots.txtを使うことで、Googleがクロールしないように設定することが可能です。Google検索セントラルでは、クロールさせたくないページをGoogleに伝える方法として、robots.txtの説明をしています。

「robots.txt」とは、サイトの特定の部分について、検索エンジンによるアクセスとクロールを許可するかどうかを検索エンジンに伝えるファイルです。このファイルは「robots.txt」と名付ける必要があり、サイトのルート ディレクトリに配置します。

引用：検索エンジン最適化（SEO）スターター ガイド（Google検索セントラル）

Basic認証を使う

Basic認証とはWEBサイトに簡易的にパスワードを設定することです。特定のユーザーのみにアクセスができないようにする方法ですが、インデックスをさせないように活用することが可能です。

Googlebotのクロール頻度の下げ方

WEB担当者は普通、Googlebotのクロール頻度を上げようとします。しかし、場合によってはサイトがクロールされることによってデメリットがあることもあります。

Googlebotのクロール頻度を下げる理由

Googlebotのクロール頻度を下げる理由として、クロールを頻繁におこなうことによってインフラに負担がかかり過ぎたり、サービスを使っていない間に不要な費用が発生したりすることが挙げられます。

Search Consoleを活用

もっとも素早くクロール頻度を下げられるのがSearch Consoleを使って設定変更することです。設定変更までに数日かかる場合があるのでご注意ください。

Google の仕組みを利用する

短期間でクロール頻度を下げる必要がある場合は、次のようなGoogleの仕組みを活用します。

500、503、または 429 HTTP レスポンスに関するステータス コードを含む情報エラーページを返すようにします。

引用：Googlebot のクロール頻度を下げる（Google検索セントラル）

これらのURLが多く検出されることにより、該当のWEBサイトにおいてクロール頻度を下げることが可能です。

まとめ

WEBサイトはクロールが巡回することにより検索エンジンにインデックスされ、コンテンツ内容が読み取れることからGoogleから評価されます。しかし、クロールをリクエストしなければクローラーの巡回を促すことができません。 コンテンツの品質が低かったりリンク構造が十分でなかったりするWEBサイトは、クローラーが巡回しづらい特徴があります。このような場合は、コンテンツの質を改善することを始め、WEBサイト自体の修正が必要ですが、それだけでなくクローラーが巡回してもらいやすくするためにリクエストをすることが重要です。どれだけ質のいいWEBサイトであっても、クローラーが巡回しづらいことがあるため、状況次第では迷わずクロールのリクエストはするべきです。

 

SEOコンサルティングの東京SEOメーカーTOPへ戻る

 

この記事の監修者

アドマノ株式会社　代表取締役　天野　剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。