サイトを運営する方であれば、一度は「クローラー」という言葉を聞いたことがあるはずです。クローラーは、SEO対策時には必ず覚えておきたい用語の1つです。クローラーへの理解が検索結果の上位表示にもつながります。

そこで本記事では、クローラーの意味や仕組み、検索結果の上位に表示させる方法などを紹介します。本記事を最後までお読みいただくことで、クローラーについて正しく理解できるようになりますので、是非とも最後までお読みください。

クローラーとは

クローラーとは、Web上のページをサイトに登録（インデックス）するためのプログラムです。クローラーはWebページのリンクを辿ることでサイトを自動で検出し、スキャンしています。検出したページの内容に応じて、検索結果のどこに表示させるかを決定しています。

たとえば、自社サイト内で記事ページを1つ公開したとします。その記事ページが公開されれば、その直後にインターネットの検索結果に表示されるわけではありません。クローラーが自社サイト内のリンクを経由して新しいページが公開されたことを検出し、内容を確認した上で、サイトに登録します。サイト登録後に、ユーザーは検索結果から自社サイトに新たに追加された記事ページを見られるようになります。

つまりクローラーは、自社サイトで公開したページを検索ユーザーに見てもらうために不可欠なAIロボットなのです。

対策が必要なのは「Googleのクローラー」

クローラーは原則、検索エンジンをもつ各会社が開発し、運用しています。2022年2月時点で国内の検索エンジンのシェアの約77％が「Google」なので、対策が必要なのは「Googleのクローラー」です。

検索エンジンとは、検索ボックスに入力されたキーワードを元に、世界中のインターネットのページから情報を検索して表示するプログラムです。日本で検索エンジンを運用する会社は、次のような名称のクローラーを所有しています。

ちなみに、国内第2位で約17％のシェアを占めるYahoo!は現在、Googleの検索エンジンを使用しています。この理由からも、国内のSEOで対策が必要なクローラーは「Google」となるのです。

出典：Search Engine Market Share Japan（Statcounter Global Stats）

クローラーの仕組み

クローラーが、新たに追加されたページを検索結果に表示させるための仕組みを、簡単に解説します。

1. Web上にどのようなページがあるのか検出する

クローラーは、Web上に存在するすべてのページを検出します。その方法は、すでにクローラーが巡回したことのあるページからのリンクを経由して、新たに追加されたページを検出します。

このようなクローラーの経路によって、新たに追加したページを、Googleが絶えず把握できるようになっています。

2. ページにアクセスして内容を確認する

新たに追加されたページを検出すると、クローラーはそこへアクセスします。そして、新たに追加されたページの「テキスト」と「テキスト以外のコンテンツ（画像や動画など）」を読み込み、全体の視覚的配置を分析します。

3. 検索結果のどこに表示させるかを決める

クローラーが新たに追加されたページの視覚的配置を分析したあとに、そのページを検索結果のどこに表示させるかを決めます。このようなクローラーの巡回を経て、新たなページを公開してからサイトに登録されます。

つまりクローラーに検出されやすいのは「このページがどのようなことを書いているのか？」がわかりやすいページです。検索キーワードに対して最適な答えを返しているページほど、検索結果の上位に表示されやすくなります。

クローラー巡回によってページを上位表示させるには？

クローラーの巡回によって検索結果の上位に表示させるには、いくつか対策が必要です。クローラーがページを見つけやすかったり、コンテンツを理解しやすかったりするためにできることを8個紹介します。

Google Search Consoleからインデックス登録を申請する

まずクローラーに巡回されやすいように、こちらからインデックス登録を促す方法があります。それがGoogle Search Consoleの「URL検査」です。新たに追加されたコンテンツは、Google Search Consoleを使ってインデックス登録を申請してください。

1.Google Search Consoleの「URL検査」を選ぶ

2.インデックス登録されていない場合は「インデックス登録をリクエスト」を選ぶ

以上の手順で、Googleに追加された個別ページのインデックス登録を申請できます。

サイトマップを送信する

先ほどのGoogle Search Consoleは、個別にインデックス登録を申請する方法です。複数のページが新たに追加されたことを一度に伝えるには、同じくGoogle Search Consoleから「サイトマップ」を送信してください。

サイトマップとは、サイト全体の構造を一覧で伝えるためのマップのようなものです。Googleのクローラーはこのサイトマップを読み込むことで、効率的にクローリング（クローラーが巡回すること）しています。

サイトマップの中でも、検索エンジン用の「XMLサイトマップ」を作成するのがもっとも基本的な方法です。XMLサイトマップのおすすめの作成方法は「無料のXMLサイトマップツールを使う」か「プラグインを使う（WordPress）」の2つです。

無料のXMLサイトマップツールは「sitemap.xml Editor」というサイトで作成できます。作成したXMLサイトマップはFTPソフトを使ってサーバーにアップロードし、そのURLをGoogle Search Consoleから送信します。

なお、自社サイトをWordPressで運営している場合は「XML Sitemaps」というプラグインを使う方法もあります。こちらのプラグインを使えばXMLサイトマップを自動で生成して送信してくれるため、オペレーションが不要になります。WordPressでサイトを運営している企業は、ぜひ利用してみてください。

ドメインパワーを上げる

ドメインパワーとは、検索エンジンからどれほどサイトが信頼されているかを表す指標です。いわばサイトの強さを示す言葉ですが、クローラーの巡回ではこのドメインパワーが非常に大切になります。元も子もない話ですが、クローリングによって上位表示されるには、サイトの総合評価が大きく関わってきます。

ドメインパワーの強いサイトのほうが優先してクロールされ、また上位表示されやすくなっています。このドメインパワーを上げる方法については次から詳しく紹介するので、まずは「クローラーの巡回にはドメインパワーが重要」という点はぜひ理解してください。

質の高いコンテンツを公開する

ドメインパワーを上げるために重要なのが「質の高いコンテンツ」です。Googleは「とにかく質の高いコンテンツに集中しましょう」とアドバイスしており、サイト運営者もこれを理解する必要があります。

それでは、質の高いコンテンツとは一体どのようなものを指すのでしょうか？質の高いコンテンツと言われるその特徴をいくつか紹介します。

SEOのそもそもの目的が「コンテンツから顧客を獲得して、購入、リピートまでつなげる」ことにあるので、まずは質の高い記事を作成することから意識してみてください。

被リンクを獲得する

被リンクとは、外部のサイトに貼られた自サイトのリンクです。Googleはサイトを評価するときに、この被リンクを非常に重視しています。そのため、クローラーの巡回によってページを上位表示させやすくするには、基本的にサイトの被リンク数を増やしていく必要があります（ただし闇雲に増やせばいいわけではないので、詳しくは後述します）。

Googleは被リンクの数や、強いドメインパワーや著名人などのサイトに貼られた外部リンクによって、サイトを評価しています。この被リンクを増やすことで、ドメインパワーを上げ、クローリングされやすいサイトを作り上げられます。

被リンクを獲得するには、次のような点を意識してみてください。

関連記事: SEO外部対策 被リンクとは何か。被リンク効果と獲得方法を解説

E-A-Tを重視する

最近のSEOの傾向として「E-A-T」を重視しています。E-A-Tを意識したサイト作りが、Googleからの評価を高めることにつながります。

E-A-Tとは、Googleが定めている検索品質評価ガイドラインにおけるサイト判断の1つの基準です。E-A-Tは、次の3つの用語の頭文字を取っています。

つまりE-A-Tとは、ユーザーからサイトがどれほど信用されているかを表す指標です。E-A-Tを示すために、次のような点を意識してみてください。

Googleはクローリングの際に、コンテンツ以外にも「会社概要」や「筆者情報」などの、サイトの信頼性を示す情報も重視しています。上記のような、コンテンツ以外にも配慮したサイトを作ってください。

関連記事: SEO対策で重要視されるE-A-Tとは!?評価基準やEATの対策方法を徹底解説

モバイルでも見やすいサイトにする

Googleはクローラビリティ（クローリングしやすいサイトにする）を向上させるにあたって、モバイル対応にするように推奨しています。スマホやタブレットでも見やすいサイトのほうが、検索結果の上位に表示されやすくなっています。

ドイツのSISTRIX社の調査によると、携帯電話（スマホを含む）でサイトを検索するユーザーが全体の64％もいることがわかっています。さらに日々モバイル化も進んでいることから、サイト運営者はスマホへの対応が必須となっています。

モバイルでも見やすいサイトにするには、サイトを「レスポンシブデザイン」にしてください。レスポンシブデザインとは、PCやタブレット、スマホのすべてのデバイスに1つのURLで対応したサイトデザインです。

ページの表示速度を上げる

Googleはモバイル対応とともに、ページの表示速度も重視しています。ページの表示速度を上げることで、検索結果の上位に表示されやすくなります。

関連記事: ページスピードの計測方法とページ表示速度の改善方法/Page speed insight

クローラーを欺くとGoogleからペナルティを受ける

昔流行ったような、クローラーを欺く行為はGoogleからのペナルティ対象です。以下のやり方は「ブラックハットSEO」とも呼ばれる手法で、検索結果に表示できなくなるので、決してやらないでください。

有料で外部リンクを購入する

被リンクの獲得のために、有料で外部リンクを購入してはいけませんとGoogleガイドラインにあります。Googleはツールを使って有料でリンクを作っているサイトに潜入しているので、そこから外部リンクを操作していることがわかるようです。

隠しテキスト、隠しリンク

ランキングを操作するための「隠しテキスト」や「隠しリンク」もペナルティ対象です。「隠しテキスト」とは、たとえば背景と同色の文字を入れたり、画像の背後にテキストを置いたりして隠す方法です。「隠しリンク」とは、小さな1文字のみ（ハイフンのような）をリンクにして隠すような方法です。

このような行為はペナルティ対象となりますので、決してやらないようにしてください。

コピーコンテンツ

ほかのサイトを無断複製したコンテンツは「コピーコンテンツ」として、上位に表示されにくくなっています。そもそもほかのサイトを無断複製することは著作権違反にあたり、相手から損害賠償を請求される可能性があるので、決してやらないようにしてください。

まとめ

クローラーとは、インターネットに新たに追加されたページを検出し、それをサイトに登録（インデックス）するためのAIロボットです。国内の検索エンジンのほとんどがGoogleのものです。そのため、Googleのクローラーを対策してください。クローラビリティを向上させるには「XMLマップを送信する」「質の高いコンテンツを公開する」などの方法があります。この記事で解説した内容をもとに、ぜひページの上位表示を目指してみてください。

 

 


 

SEOとWEBマーケティングの東京SEOメーカーTOPへ戻る

 

この記事の監修者

アドマノ株式会社　代表取締役　天野　剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。