クロールエラーが発生する原因とは?対処法を項目別に徹底解説
Webサイトやページをインデックスしてもらうためには、クロールエラーをしっかり対処しなければいけません。
クロールエラーを放置した場合、自分のWebサイトに悪影響を及ぼす可能性があります。しかし、クロールエラーといっても複数の種類があり、対処方法は原因によっても異なります。

クロールエラーとは
クロールエラーとは、Googlebotが何かしらの原因によってWebサイトやページをクローリングできなかった状態のことです。通常Googlebotはインターネット上をクローリングし、Webサイトをインデックスする流れとなります。
しかしクロールエラーが起こっている場合、何か重大な問題が発生している可能性もあるため、早めに確認し対処する必要があります。ここでは、クロールエラーについて詳しく解説していきます。
クロールエラーの種類
クロールエラー起こっている場合は、さまざまな原因が考えられます。原因を大きく分けると以下の2つです。
- サイトエラー
- URLエラー
各エラーについて解説いたします。
サイトエラー
Webサイトにおける設定ミスなどが原因となり、クローラーがアクセスできずにいる状態です。
主なサイトエラーの種類
- DNSエラー
- サーバーエラー
- robots.txtエラー
URLエラー
URLにおける設定ミスなどが原因となり、クローラーが認識できずにいる状態です。
主なURLエラー
- 404…ページは存在しない
- 403…アクセスが禁止
- 503…一時的にアクセスできない
- 408…タイムアウト
クロールエラーを解消するには、まず原因を見つけることから始めましょう。原因によって対象方法も変わってきますので、何が原因でクロールエラーが起こっているのか、なぜクロールエラーが起こってしまったのかを判断することが大切です。
クロールエラーの確認方法
クロールエラーは、GoogleSearch Consoleから確認することができます。
具体的には以下の3STEPです。
- GoogleSearch Consoleにログイン
- カバレッジの選択
- 詳細確認
GoogleSearch Consoleにログイン
まずはログインしましょう。GoogleSearch ConsoleはGoogleが提供している無料ツールとなるため、まだ活用していない人は登録することをおすすめします。
カバレッジの選択
左上の欄から「インデックス」→「カバレッジ」を選択します。
詳細確認
クロールエラーが起こっている場合は「エラー欄」に数字が表示されます。エラー欄をクリックすると、クロールエラーの詳細を確認できます。詳細欄から具体的なクロールエラーの原因を確認できれば完了です。
関連記事: Googleのクローラー
クロールエラーによって受ける影響
クロールエラーが起こっている状態は、ユーザーや検索エンジンに対して悪影響を与えている可能性があります。そのため後回しや放置をするのではなく、基本的には早めに対処することをおすすめします。ここでは、クロールエラーによって受ける影響について詳しく解説していきます。
SEOへの影響
クロールエラーによって受ける影響は、原因によって異なります。影響といってもさまざまですが、特に気にするべきなのはSEOに対する影響です。
例えば、サイトエラーであればSEOへの影響はあまりないと言われていますが、URLエラーであればSEOへも影響する要因となるため早急な改善が必要です。
また、クロールエラーによってページが正しく表示されないことや、全く違うリンク先に飛んでしまうことが原因によるユーザーへの影響を考えることも重要です。
ユーザーにとって不快な状態であれば、Webサイトから離脱をさせてしまいます。ずっとエラーが続くようでは、Webサイトに訪れることもなくなってしまうため、注意しましょう。
放置しないことが重要
クロールエラーが発生している場合は、できるだけ早めに対処しましょう。仮にクロールエラーを対処しなければ、対象のページはインデックスされない状態のまま放置されてしまいます。
インデックスされなければユーザーに閲覧されることはないため、クロールエラーを放置していてメリットとなることはありません。また、エラーが多い状態が続くとWebサイト全体の評価を落としかねないため、クロールエラーは早めに対処することが大切です。
クロールエラーが起こる原因と対処方法
クロールエラーエラーの原因を把握した後は、それぞれの原因に合わせた対処を行いましょう。大きく区別すると、クロールエラーの原因はサイトエラーとURLエラーに分けられ、その中でもいくつかの種類があります。ここでは、クロールエラー別の対処方法を詳しく解説していきます。
サイトエラー
サイトエラーの場合はWebサイト全体におけるクロールエラーになります。
サイトエラーには主に以下の3種類が原因として挙げられます。
- サーバーエラー
- DNSエラー
- robots.txtエラー
各エラーについて解説していきます。
サーバーエラー
サーバーエラーはGooglebotがWebサイトにアクセスできなかった場合に発生するエラーです。
サイトエラーの原因例として以下が考えられます。
- サーバーとの接続中にタイムアウトした
- サーバーが接続を拒否した
- ネットワークがダウンしてしまった
- サーバーとGoogleの接続がつながらない
サーバーエラーが起こる場合は、サーバーの設定が間違っている場合が多いです。そのため、一度サーバーの状態や設定を確認することをおすすめします。
また、アクセス数が集中した場合などに発生するエラーとして、サーバーへの負荷が原因となりWebサイトにつながらなくなることもあるため注意しましょう。
DNSエラー
DNSエラーは、DNSサーバーとクローラーが接続できなかった場合に発生するエラーです。
DNSエラーの原因例として次が考えられます。
- ネットへの接続ができない
- DNSサーバーに接続ができない
- 一時的にアクセス不良が起こっている
DNSエラーを対処するには、まずネットワーク診断によって具体的な接続状況と原因の確認をしましょう。インターネットにしっかり繋がっているようであれば、DNSサーバーの設定に問題があるかもしれません。
中には、DNSサーバーのサービスが終了している可能性もあるため、サーバー会社に問い合わせのも効果的です。
robots.txtエラー
robots.txtとは、クローラーを拒否する設定のことです。そのため自分でrobots.txtを設定している場合であれば、意図的にクロールの拒否を行っているので問題ありません。しかし、何も設定していないのにrobots.txtエラーが発生する場合はrobots.txtの内容を確認しましょう。
もし、robots.txtの内容に「Disallow」の記載がある場合は、そのページがクロールを拒否している状態となります。対処する際は、robots.txtの内容から「Disallow」を削除し、再度インデックス申請すれば完了です。
気づかぬ間にクロールの拒否設定を行っている可能性もあるため、一度は確認することをおすすめします。
関連記事: robots.txt設定がよい場合
URLエラー
URLエラーの場合は各URLが原因となるクロールエラーになります。
サイトエラーには主に次の4種類が原因として挙げられます。
- ソフト404エラー
- 404エラー
- noindexエラー
- リダイレクトエラー
各エラーについて解説していきます。
404エラー
404エラーはクローラーが存在しないページにアクセスした場合に発生するエラーです。
404エラーの原因例として以下が考えられます。
- URLが間違っている
- URLを変更した場合のリダイレクト設定をしていない
- 削除したページにアクセスしている
- リンク切れのページにアクセスしている
404エラーが発生した場合は、まずURLが正しいかどうかを確認しましょう。よくあるミスとして、URLのスペルを間違って入力していることがあります。
また、リダイレクト設定も忘れやすい項目のため、正しく設定を行いましょう。理想は自分で404エラーページを作ることです。通常の404エラーであれば、Webサイトからユーザーが離脱してしまうことが大半です。
しかし、作成した404エラーページであればトップページへ繋ぐことも可能となり、ユーザーの離脱を防ぐことに効果的な方法となります。
関連記事: HTTPステータスコード(404エラーや500エラー)
ソフト404エラー
ソフト404エラーとは、本来存在しないページでクローラーが404エラーとして処理するべきところを、正常にクロールしてしまっている場合に発生するエラーです。
ソフト404エラーの原因例として以下が考えられます。
- コンテンツを自動生成している
- URLを変更した場合のリダイレクト設定をしていない
- ページを削除したものの代わりとなるページが用意されていない
ソフト404エラーが発生したからといってSEOに悪影響を与えることはありませんが、放置しておくことでクローリングが遅くなる場合やWebサイトの評価が下がる可能性は考えられます。
また、Webサイトに重大な問題が発生していることもあるため、原因の確認は必ず行い対処しましょう。
noindexエラー
noindexとは、URL上に記載することでインデックスを拒否することができる設定です。
noindexエラーが起こる場合は、noindexを含めたURLにもかかわらずインデックス申請を行っていることが原因です。そのため、クローラーもインデックスすべきなのか、インデックスしなべきなのかが分からずにいる状態となります。
noindexエラーを対処するには、インデックスをしたいURL上のnoindexを排除し再度申請を行いましょう。
また、自分で作成した404エラーページなどがある場合は、noindex申請することをおすすめします。Webサイトにおいて404エラーページは必要ですが、インデックスされる必要はないためクローラーの労力を減らすことに繋がります。
リダイレクトエラー
リダイレクトエラーとは、リダイレクト中に何かしらの問題が起こっている場合に発生するエラーです。リダイレクトは対象のページを指定したページに転送することをいいます。
リダイレクトエラーが起こる原因は、リダイレクトの設定が正しく機能していないこと多いです。そのため、まずはURLが正しく入力されているのか、指定したページのURが正しいのかを確認しましょう。
リダイレクトを確認する際は「リダイレクトチェック」の活用をおすすめします。
URLを入力するだけで、正しくリダイレクトの設定が行われているのか、現在の状況を確認することができる便利な無料ツールです。
関連記事: リダイレクトについて
まとめ
