クローキングとは、

です。

クローキングは、以前に、ステルスまたはファントムとも呼ばれていました。主に、Google検索の評価を高めることを目的に利用するサイトがあとを立たず、ガイドライン違反に指定されています。

また、悪意のある第三者によってサイト運営側が意図せずにクローキングを仕掛けられるケースも問題視されています。被害にあったサイトは、SEOに悪影響が出て、ペナルティが課される恐れがあります。このペナルティは、悪意ある第三者によって仕込まれた場合でも対象となるため、未然の防止策が欠かせません。

本記事では、意図せずしてクローキング判定を受けてしまった際の対策と、クローキング対策に便利なツールを紹介します。

東京SEOメーカー編集部

東京SEOメーカーのブログでは、SEOとその他webマーケティングを中心に発信しています。社内の独自調査と実績による一次情報をもとに執筆しており、読んでいただいた方が参考になるような有益性の高い情報を執筆しています。

監修者

アドマノ株式会社　代表取締役　天野剛志／国内海外webマーケティングのエキスパート

クローキングはSEOに悪影響を与える

クローキングは、SEO評価に悪影響をもたらします。具体的には、次のようなものが挙げられます。

Googleは、クローキングをスパムポリシーに違反する行為として指定しています。そのため、クローキング判定されたサイトは、サイト評価が下がり、検索順位に影響を及ぼします。あまりにも悪質なクローキングに関しては、インデックスから消され、検索結果に表示されなくなるケースもありえます。

クローキングとは

クローキングとは、検索ユーザーとクローラーに異なるコンテンツを表示して、SEO評価を高めようと試みる施策です。Googleのスパムポリシーに違反する行為の1つで、Googleペナルティの対象となります。

クローキングをする理由

クローキングをおこなうサイトオーナーの主な目的は、検索順位を操作することです。

Google検索は、コンテンツの内容、構造をもとにページを評価します。さらにいうと、テキスト情報が整理されているページを評価する傾向があります。一方で、画像中心のサイトは視覚的な表現に優れているものの、テキスト情報が少なくことから、Google検索が内容を把握しにくいケースがあります。

この矛盾を埋めるため、クローキングをおこなって、不正にGoogle検索の評価を高めようとするサイトが横行しました。

とくに、違法なアダルトサイトでは高確率でクローキングがおこなわれています。クローラーに対しては合法な動画サイトであるようにみせつつ、ユーザーがアクセスしたときには違法なコンテンツを表示しています。

この手口によって、違法なコンテンツを扱っていることへのペナルティを回避しつつ、集客を図っています。

不正なクローキングの種類

クローキングには、さまざまな種類の手口があります。具体的には、隠しテキスト、リダイレクトを使ったコンテンツの偽装行為などが挙げられます。

自社サイトが事例のケースに該当する場合、Googleペナルティの対象となりますので注意してください。

隠しテキストを仕込む

隠しテキストとは、テキストを視覚的にわかりにくくする手口です。具体的な手口としては5つあります。

出展：隠しテキストと隠しリンク（Google検索セントラル）

この手口によって、クローラーにのみ、テキストのキーワードを認知させています。かつては、キーワードを隠しテキストとしてサイトに紛れ込ませることで、検索結果の上位表示を狙うサイトオーナーが多数存在していました。

ただし、現在では、隠しテキストがGoogleのウェブマスター向けガイドライン（品質に関するガイドライン）の違反にあたります。

リダイレクトを悪用する

検索エンジンとユーザーに、それぞれ別のページを閲覧させる目的でリダイレクト（転送設定）すると不正行為になります。

その手口は、検索エンジンに正規のコンテンツ（評価されるコンテンツ）をみせつつ、ユーザーがアクセスしたときだけ、低品質のページに転送するものです。具体的には、ユーザーのみ物販や詐欺目的のページに転送します。ユーザー側からは、検索結果上のリンク情報と実際に閲覧するページ内容が乖離しているようにみえます。

意図しないクローキングの種類

意図せずとも、不正なクローキングとして扱われるケースがあります。それは、ログインが必要な会員制サイトを運用している場合、外部の第三者にサイトを改ざんされた場合です。後者のように、ハッキングの被害に遭い、サイトを改ざんされたケースでも不正なクローキングと判定されますので注意が必要です。

ログインが必要な会員制サイト

会員制サイトなどログインを要するページは、通常、検索結果に表示されない設定になっています。しかし、検索結果に表示させるように設定していると、クローキングと判定されることがあります。

これはクローラーにはログイン後のページを表示させているのに対し、ユーザーにはログイン前のページを表示させているためです。

ログイン後に表示するページは、クローラーをブロックして検索結果に表示させないように設定する必要があります。

サイトを改ざんされる（ハッキングの被害）

悪意ある第三者に自社サイトがハッキングされ、サイトを改ざんされると、検索エンジンに不正なクローキングと判定される危険があります。

主に、悪意ある第三者が自社サイトを標的にし、不正に侵入したのちに、ユーザーのみを別のサイトにリダイレクトする設定に書き換える手口が挙げられます。この改ざんに、サイト側が気づかず、対策を怠っているうちに、Googleペナルティを受けてしまいます。

また、セキュリティプラグインや2段階認証を導入してハッキングを未然に防ぐことも大切です。複数のユーザーがサイト内部にアクセスできる場合は、自動ログアウトできるように設定してください。

クローキング判定されたときの対処方法

仮に意図しないクローキングが発見されたとき、３つの方法で対策できます。

クローキングがおこなわれているページを削除する方法はもっとも簡単ですが、反面、事情があって削除できないページには不向きです。このようなときは、htmlのheadタグ内でnoindexを使用できます。

headタグ内に<meta name=”robots” content=”noindex”>を入れてください。

このnoindexの目的は、クローラーがサイトを巡回したうえで検索結果に表示させないようにすることです。つまり、クローラーがサイトを巡回すること自体はブロックできません。

WordPressでサイトを製作、管理しているときはプラグインを導入すると簡単にnoindex設定できます。

クローキングを発見できるツール

クローキングを発見できるツールとして使えるもののなかから、４つをピックアップしました。

ツールの利用にあたって、無料で使えるものと有料のものがあります。

高評価

高評価はGMOが提供するツールで、無料で利用できます。調べたいURLとキーワードを入力すると、該当するページの基本情報やキーワードが適切に使われているかなど基本的なSEOができているかをわかりやすく表示します。

注意点としてAjaxやASPで構築されているページは情報が取得できないことが多くあるほか、対象URLがリダイレクトされている、またはJavaScriptで変更されていると結果が取得できないことがあります。

SEARCH WRITE

SEARCH WRITE（サーチライト）は株式会社PRAN-Bが提供するツールです。自動でサイトやページの内部構造をチェックし修正点を示すほか、コンテンツに必要な内容を具体的に示します。SEOに関する知識に自信がなくても安心して利用できます。

料金は月額５万円です。このうち、初期登録や導入支援の費用は不要です。登録できるサイトは１〜３件、ライセンス数は無制限です。資料請求や資料ダウンロードの料金は不要、さらに無料のデモ体験に申し込んで実際の使い心地を試すこともできます。

SEO Pack

SEO Packは株式会社ディーボが提供しているツールです。SEOにおける内部対策はもちろん、外部対策も同時におこなえます。ページ内に問題があれば修正点を教えてくれるほか、コンテンツ作成を支援する機能も備えています。契約プランは3か月と6か月の2種類です。

Google Search Console

Google Search ConsoleはGoogleから提供されている、無料で使えるツールです。メニュー内にある「手動による対策」から問題点があるかを確認できます。スパム行為やクローキングなど問題があるサイトはGoogleのスタッフが手動で対策をとっていて、実行される対策には2種類あります。

サイト全体に影響を与える対策がとられた場合には、サイト全体の一致の欄に理由と対象が表示されます。サイト内の個々のURLや一部に影響を与える対策の場合は、部分一致の欄に理由と対象が表示されます。

「手動による対策」ページを確認し、問題が確認できたときは早急に対応してください。

なお、Google Search Consoleの使い方については、下記ページで詳しく解説しています。

関連記事：Google Search Consoleどう使う？初心者でもできるSEO改善手順を解説

クローキングのよくある質問

クローキングに関する、よくある質問とその回答をまとめています。
 

まとめ

クローキングとは、クローラーとユーザーとでそれぞれ異なるコンテンツを表示させる不正行為の1つです。この手法を使って検索エンジンからの評価を高めようとする運営者がいましたが、現在ではGoogleが公式にガイドライン違反としており、ペナルティの対象となっています。クローキングが使われてきたのはおもに違法なアダルトサイトですが、画像を多用しているサイトでも使われていました。SEOの観点からみてテキスト主体のシンプルなhtml構造が好まれるため、クローラーにはシンプルなhtml構造のサイトであるようにみせかける方法が用いられたのです。クローキングを回避するためにはスマートフォンとパソコンとでクローラーを振り分ける、ログインしなければみえないページはクローラーをブロックするのが有効です。また、ハッカーによって勝手にクローキングがおこなわれることもあるため、ツールを使って定期的にハッキングされていないかを確認してください。もし意図しないクローキングが発見されたときは、該当ページを削除するかnoindexを使って検索結果に表示させないようにすることで対策できます。また、ツールを使って定期的にサイトをチェックすることでも対策できます。

 

この記事の監修者

アドマノ株式会社　代表取締役　天野　剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、10期目。営業、SEOコンサル、WEB解析（Googleアナリティクス個人認定資格GAIQ保持）コーディング、サイト制作となんでもこなす。会社としては今まで1000以上のサイトのSEO対策を手掛けてきました。