Webサイトやページをインデックスしてもらうためには、クロールエラーをしっかり対処しなければいけません。

クロールエラーを放置した場合、自分のWebサイトに悪影響を及ぼす可能性があります。しかし、クロールエラーといっても複数の種類があり、対処方法は原因によっても異なります。

そこで本記事では、クロールエラーが発生する対処法を原因別に解説していきます。

クロールエラーとは 

クロールエラーとは、Googlebotが何かしらの原因によってWebサイトやページをクローリングできなかった状態のことです。通常Googlebotはインターネット上をクローリングし、Webサイトをインデックスする流れとなります。

しかしクロールエラーが起こっている場合、何か重大な問題が発生している可能性もあるため、早めに確認し対処する必要があります。ここでは、クロールエラーについて詳しく解説していきます。

クロールエラーの種類

クロールエラー起こっている場合は、さまざまな原因が考えられます。原因を大きく分けると以下の2つです。

各エラーについて解説いたします。

サイトエラー

Webサイトにおける設定ミスなどが原因となり、クローラーがアクセスできずにいる状態です。

主なサイトエラーの種類

URLエラー

URLにおける設定ミスなどが原因となり、クローラーが認識できずにいる状態です。

主なURLエラー

クロールエラーを解消するには、まず原因を見つけることから始めましょう。原因によって対象方法も変わってきますので、何が原因でクロールエラーが起こっているのか、なぜクロールエラーが起こってしまったのかを判断することが大切です。

クロールエラーの確認方法

クロールエラーは、GoogleSearch Consoleから確認することができます。

具体的には以下の3STEPです。

GoogleSearch Consoleにログイン

まずはログインしましょう。GoogleSearch ConsoleはGoogleが提供している無料ツールとなるため、まだ活用していない人は登録することをおすすめします。

カバレッジの選択

左上の欄から「インデックス」→「カバレッジ」を選択します。

詳細確認

クロールエラーが起こっている場合は「エラー欄」に数字が表示されます。エラー欄をクリックすると、クロールエラーの詳細を確認できます。詳細欄から具体的なクロールエラーの原因を確認できれば完了です。

関連記事: Googleのクローラー

クロールエラーによって受ける影響

クロールエラーが起こっている状態は、ユーザーや検索エンジンに対して悪影響を与えている可能性があります。そのため後回しや放置をするのではなく、基本的には早めに対処することをおすすめします。ここでは、クロールエラーによって受ける影響について詳しく解説していきます。

SEOへの影響

クロールエラーによって受ける影響は、原因によって異なります。影響といってもさまざまですが、特に気にするべきなのはSEOに対する影響です。

例えば、サイトエラーであればSEOへの影響はあまりないと言われていますが、URLエラーであればSEOへも影響する要因となるため早急な改善が必要です。

また、クロールエラーによってページが正しく表示されないことや、全く違うリンク先に飛んでしまうことが原因によるユーザーへの影響を考えることも重要です。

ユーザーにとって不快な状態であれば、Webサイトから離脱をさせてしまいます。ずっとエラーが続くようでは、Webサイトに訪れることもなくなってしまうため、注意しましょう。

放置しないことが重要

クロールエラーが発生している場合は、できるだけ早めに対処しましょう。仮にクロールエラーを対処しなければ、対象のページはインデックスされない状態のまま放置されてしまいます。

インデックスされなければユーザーに閲覧されることはないため、クロールエラーを放置していてメリットとなることはありません。また、エラーが多い状態が続くとWebサイト全体の評価を落としかねないため、クロールエラーは早めに対処することが大切です。

クロールエラーが起こる原因と対処方法 

クロールエラーエラーの原因を把握した後は、それぞれの原因に合わせた対処を行いましょう。大きく区別すると、クロールエラーの原因はサイトエラーとURLエラーに分けられ、その中でもいくつかの種類があります。ここでは、クロールエラー別の対処方法を詳しく解説していきます。

サイトエラー 

サイトエラーの場合はWebサイト全体におけるクロールエラーになります。

サイトエラーには主に以下の3種類が原因として挙げられます。

各エラーについて解説していきます。

サーバーエラー

サーバーエラーはGooglebotがWebサイトにアクセスできなかった場合に発生するエラーです。

サイトエラーの原因例として以下が考えられます。

サーバーエラーが起こる場合は、サーバーの設定が間違っている場合が多いです。そのため、一度サーバーの状態や設定を確認することをおすすめします。

また、アクセス数が集中した場合などに発生するエラーとして、サーバーへの負荷が原因となりWebサイトにつながらなくなることもあるため注意しましょう。

DNSエラー

DNSエラーは、DNSサーバーとクローラーが接続できなかった場合に発生するエラーです。

DNSエラーの原因例として次が考えられます。

DNSエラーを対処するには、まずネットワーク診断によって具体的な接続状況と原因の確認をしましょう。インターネットにしっかり繋がっているようであれば、DNSサーバーの設定に問題があるかもしれません。

中には、DNSサーバーのサービスが終了している可能性もあるため、サーバー会社に問い合わせのも効果的です。

robots.txtエラー

robots.txtとは、クローラーを拒否する設定のことです。そのため自分でrobots.txtを設定している場合であれば、意図的にクロールの拒否を行っているので問題ありません。しかし、何も設定していないのにrobots.txtエラーが発生する場合はrobots.txtの内容を確認しましょう。

もし、robots.txtの内容に「Disallow」の記載がある場合は、そのページがクロールを拒否している状態となります。対処する際は、robots.txtの内容から「Disallow」を削除し、再度インデックス申請すれば完了です。

気づかぬ間にクロールの拒否設定を行っている可能性もあるため、一度は確認することをおすすめします。

関連記事: robots.txt設定がよい場合

URLエラー  

URLエラーの場合は各URLが原因となるクロールエラーになります。

サイトエラーには主に次の4種類が原因として挙げられます。

各エラーについて解説していきます。

404エラー

404エラーはクローラーが存在しないページにアクセスした場合に発生するエラーです。

404エラーの原因例として以下が考えられます。

404エラーが発生した場合は、まずURLが正しいかどうかを確認しましょう。よくあるミスとして、URLのスペルを間違って入力していることがあります。

また、リダイレクト設定も忘れやすい項目のため、正しく設定を行いましょう。理想は自分で404エラーページを作ることです。通常の404エラーであれば、Webサイトからユーザーが離脱してしまうことが大半です。

しかし、作成した404エラーページであればトップページへ繋ぐことも可能となり、ユーザーの離脱を防ぐことに効果的な方法となります。

関連記事: HTTPステータスコード（404エラーや500エラー）

ソフト404エラー

 ソフト404エラーとは、本来存在しないページでクローラーが404エラーとして処理するべきところを、正常にクロールしてしまっている場合に発生するエラーです。

ソフト404エラーの原因例として以下が考えられます。

ソフト404エラーが発生したからといってSEOに悪影響を与えることはありませんが、放置しておくことでクローリングが遅くなる場合やWebサイトの評価が下がる可能性は考えられます。

また、Webサイトに重大な問題が発生していることもあるため、原因の確認は必ず行い対処しましょう。

noindexエラー

noindexとは、URL上に記載することでインデックスを拒否することができる設定です。

noindexエラーが起こる場合は、noindexを含めたURLにもかかわらずインデックス申請を行っていることが原因です。そのため、クローラーもインデックスすべきなのか、インデックスしなべきなのかが分からずにいる状態となります。

noindexエラーを対処するには、インデックスをしたいURL上のnoindexを排除し再度申請を行いましょう。

また、自分で作成した404エラーページなどがある場合は、noindex申請することをおすすめします。Webサイトにおいて404エラーページは必要ですが、インデックスされる必要はないためクローラーの労力を減らすことに繋がります。

リダイレクトエラー

リダイレクトエラーとは、リダイレクト中に何かしらの問題が起こっている場合に発生するエラーです。リダイレクトは対象のページを指定したページに転送することをいいます。

リダイレクトエラーが起こる原因は、リダイレクトの設定が正しく機能していないこと多いです。そのため、まずはURLが正しく入力されているのか、指定したページのURが正しいのかを確認しましょう。

リダイレクトを確認する際は「リダイレクトチェック」の活用をおすすめします。

URLを入力するだけで、正しくリダイレクトの設定が行われているのか、現在の状況を確認することができる便利な無料ツールです。

関連記事: リダイレクトについて

まとめ

クロールエラーは原因別に対象方法が異なるため、まずは早急に原因を確認することが大切です。クロールエラーの原因はGoogleSearch Consoleから簡単に確認できるため、自分のWebサイトの中でもクロールの対象ページは洩らさずに確認しましょう。また、クロールエラーがWebサイトに影響しないようなものであっても、長期的にはクローラーを悪影響を与えてしまうこともあるため、早めの対処をおすすめします。クロールエラーを解消し、質の高いコンテンツをインデックスしていきましょう。

この記事の監修者

アドマノ株式会社　代表取締役　天野　剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。