SEO対策の東京SEOメーカー

Feedfetcherの概要とFAQまとめ【Google検索セントラルの解説】

Feedfetcherの概要とFAQまとめ【Google検索セントラルの解説】Google社は、Feedfetcherに関するガイドをGoogle検索セントラル上で公開しています。

 

参考(外部):Feedfetcher

 

それによると、Feedfetcherとは、WEB上のフィードをクロールするための技術とのことです。また、原則的には、Google検索エンジンにインデックスされる対象は、フィードのなかでもポッドキャストフィードのみです。ただし、RSSやAtomフィードもインデックスされるケースがあると説明されています。

 

関連記事:Googleクローラーの種類と対策、フェッチャーの利用方法【Google検索セントラルの解説】

 

amano_portrait今回は、Feedfetcherのガイドの読み方を解説します。本ガイドは、サイト運用者の質問を集めたFAQ形式でページが構成されています。そのため、とくに、フィード機能を提供するサイトを運用していて、フィードコンテンツに対するクローラーを管理したい方は参考にしてください。

 

目次

無料競合調査

フィードとFeedfetcherの関係性

そもそも、Feedfetcher(フィードフェッチャー)は、WEBサイトのフィードをクロールしてGoogle検索エンジンに情報を共有する役割を担います。通常のWEBページと同様に、条件が整えばフィードが検索エンジンにインデックス登録されるケースもあります。

 

上述のとおり、Feedfetcherは、WEBコンテンツをクロールするロボットです。ただし、一般的なWEBクローラーとは異なり、次のような特徴を持ちます。

 

  • WEB上のリンクを辿らない(自動巡回しない)
  • サイト利用者のリクエスト時に起動してコンテンツをクロールする
  • txtの指示を無視する

 

また、別ガイドでも紹介されていますが、このような機能を有するロボットをユーザートリガーフェッチャーと呼びます。

 

参考(外部):Googleクローラーとフェッチャーの概要(ユーザーエージェント)

 

ガイド「Feedfetcher」の概要と読者

Google検索セントラルには、Feedfetcherの情報をまとめたガイドが設置されています。具体的には、Feedfetcherの仕組みの概要のほか、サイトオーナーからGoogle社に寄せられた、よくある質問がFAQ形式で掲載されています。

 

参考(外部):Feedfetcher

 

本ガイドを読むべき職種

本ガイドを読むことで、フィードページに対するインデックス条件を理解できます。そのため、主に、フィード機能を有するサイトのWEBディレクターがSEO対策時に読むべき内容となっています。

 

ガイド「Feedfetcher」の構成と読み方

本ガイドでは、下記のように、サイトオーナーの質問とあわせて、Google社による回答がまとめられています。

 

  • Googleがサイトのフィードの一部またはすべてを取得しないようリクエストするにはどうすればよいですか?
  • Feedfetcher はどのくらいの頻度でフィードを取得しますか?
  • Feedfetcherが私のサーバーや存在しないドメインから間違っているリンクをダウンロードしようとするのはなぜですか?
  • Feedfetcherが「非公開」のウェブサーバーから情報をダウンロードしようとするのはなぜですか?
  • Feedfetcherがtxtファイルの指示に従わないのはなぜですか?
  • comの複数のマシンからアクセスがあり、それがすべてユーザーエージェントFeedfetcherであるのはなぜですか?
  • ログにフィルタをかけたいので、Feedfetcherのリクエストで使用されるIPアドレスを教えてください。
  • Feedfetcherがサイト上の同じページを何度もダウンロードするのはなぜですか?
  • Feedfetcherはどのような種類のリンクをたどりますか?

 

上記のなかから、自社サイトの課題を解決できる質問や回答があったら参考にしてください。しかし、自社サイトの課題する答えが載っていない場合は、次のとおり、Googleに対して質問するフォームが案内されています。

 

  • ここに記載されていないFeedfetcher関連の質問については、どこに問い合わせればよいですか?

 

質問項目「Googleがサイトのフィードの一部またはすべてを取得しないようリクエストするにはどうすればよいですか?」の回答を解説

質問項目「Googleがサイトのフィードの一部またはすべてを取得しないようリクエストするにはどうすればよいですか?」では、WEBサイトのフィードに対するクロールを制限する方法について回答しています。

 

それによると、Feedfetcherは、サイトやアプリの利用者がフィードにアクセスすると起動して、フィードページのデータの取得を試みる仕組みとのことです。また、Feedfetcherは、一般的なWEBクローラーではないため、robots.txtで指示を出すことができないといいます。

 

そこで、ユーザーエージェント「Feedfetcher-Google」を指定して、エラーステータスを返すようにサイトを設定する方法が有効であると説明されています。

 

本ガイドの補足になりますが、サイト設定としては、.htaccessファイルを利用して、指定のユーザーエージェントに対してアクセス制限をかける手段が挙げられます。

 

質問項目「Feedfetcherはどのくらいの頻度でフィードを取得しますか?」の回答を解説

質問項目「Feedfetcherはどのくらいの頻度でフィードを取得しますか?」では、Feedfetcherのフィード取得頻度について回答しています。

 

その回答によると、サイトの更新頻度に応じて変化するとのことです。さらに、フィード取得の頻度が高い場合でも、1時間に1回を超えることがないように設計されているとのことです。

 

質問項目「Feedfetcherが私のサーバーや存在しないドメインから間違っているリンクをダウンロードしようとするのはなぜですか?」の回答を解説

質問項目「Feedfetcherが私のサーバーや存在しないドメインから間違っているリンクをダウンロードしようとするのはなぜですか?」と「Feedfetcherが「非公開」のウェブサーバーから情報をダウンロードしようとするのはなぜですか?」では、Feedfetcherが誤った情報を取得する原因について回答しています。

 

そもそも、Feedfetcherが取得するフィード情報は、サイト利用者がリクエストしたURLを基にしているとしたうえで、サイト利用者が誤ったURLをリクエストしたことが原因として考えられると、質問の問いに答えています。

 

質問項目「Feedfetcherがrobots.txtファイルの指示に従わないのはなぜですか?」の回答を解説

質問項目「Feedfetcherがrobots.txtファイルの指示に従わないのはなぜですか?」では、Feedfetcherをrobots.txtで制御できない理由について回答しています。

 

この回答としては、Feedfetcherは、サイト利用者がリクエストした情報を基にしてフィードを取得することが、robots.txtを無視する理由として挙げられています。このほか、別ガイド「Googleクローラーとフェッチャーの概要(ユーザー エージェント)」では、Feedfetcherは、一般的なWEBクローラーと異なり、ユーザートリガーフェッチャーと呼ばれる機能であると紹介されています。そして、ユーザートリガーフェッチャーの特徴として、robots.txt内のルールは無視されると仕様を説明しています。

 

質問項目「Google.comの複数のマシンからアクセスがあり、それがすべてユーザーエージェントFeedfetcherであるのはなぜですか?」の回答を解説

質問項目「Google.comの複数のマシンからアクセスがあり、それがすべてユーザーエージェントFeedfetcherであるのはなぜですか?」では、複数のコンピューターでFeedfetcherを管理している理由について答えています。

 

それによると、複数のコンピューターを利用することで、パフォーマンスを高める目的があると説明されています。さらに、Feedfetcherには、次のような特徴があるといいます。

 

  • WEBが広大になるにつれてFeedfetcherが拡張されるように設計されている
  • WEBサイトのサーバーに近いコンピューターのFeedfetcherがフィードを取得する

 

質問項目「ログにフィルタをかけたいので、Feedfetcherのリクエストで使用されるIPアドレスを教えてください。」の回答を解説

質問項目「ログにフィルタをかけたいので、Feedfetcherのリクエストで使用されるIPアドレスを教えてください。」では、Feedfetcherによるアクセスを特定する方法について回答しています。

 

そこでは、まず、FeedfetcherのIPアドレスは毎回変化すると述べられています。そのため、アクセス解析時には、IPアドレスではなく、ユーザーエージェント「Feedfetcher-Google」でFeedfetcherを特定することが推奨されています。

 

質問項目「Feedfetcherがサイト上の同じページを何度もダウンロードするのはなぜですか?」の回答を解説

質問項目「Feedfetcherがサイト上の同じページを何度もダウンロードするのはなぜですか?」では、ファイルのダウンロード回数について回答しています。

 

それによると、この質問のケースは、Feedfetcherを管理するコンピューター側の不具合であると説明されています。

 

質問項目「Feedfetcherはどのような種類のリンクをたどりますか?」の回答を解説

質問項目「Feedfetcherはどのような種類のリンクをたどりますか?」では、Feedfetcherのクロール方法について回答しています。

 

この答えでは、Feedfetcherは、WEB上のリンクを辿って巡回することはないとしています。

 

質問項目「ここに記載されていないFeedfetcher関連の質問については、どこに問い合わせればよいですか?」について

本項目では、ガイド内に適切な質問が見つからなかった読者向けに設置されています。該当の読者は、Google検索セントラルのヘルプコミュニティで質問を投稿してくださいとのことです。

 

ガイド「Feedfetcher」の活用方法

本ガイドは、Google検索セントラルのガイドとしては特殊なページ構成で、FAQコンテンツとして公開されています。そのため、Feedfetcherに対する疑問点を解消することを目的に閲覧できます。ただし、本ガイドに疑問を解決できる情報が掲載されているとは限りません。そのようなときには、次のようなフローで情報を探してください。

 

  1. 本ガイド内のすべての質問項目に目をとおす
  2. 別ガイドの情報をチェックする
  3. ヘルプコミュニティで質問する

 

1.本ガイド内のすべての質問項目に目をとおす

Feedfetcherに対して疑問点があれば、すべての質問項目に目をとおしてください。自身の疑問に対する質問や回答とマッチする項目をチェックします。

 

2.別ガイドの情報をチェックする

本ガイドに求めている情報が載っていなければ、別ガイドをチェックしてください。関連ガイドの探し方としては、次のような方法があります。

 

  • 本ガイド内のリンクを辿る
  • Google検索セントラル内で「Feedfetcher」と検索する
  • Google検索エンジンで「site:developers.google.com Feedfetcher」と検索する

 

3.ヘルプコミュニティで質問する

Google検索セントラル内に、Feedfetcherに対する満足のいく情報を掲載するガイドがなければ、ヘルプコミュニティを利用してください。ただし、投稿した質問は、Google検索セントラル内で一般公開されますので、個人情報等を書き込まないように注意してください。

 

Feedfetcherのよくある質問

ここでは、本ガイドのFAQとは別項目として、Feedfetcherに関する基本情報など、よくある質問を集めています。
 

Q:Feedfetcherとはなんですか?

Answer)Feedfetcherとは、フィードをクロールするためのGoogle社のクローラーのことです。ただし、一般的なWEBクローラーと違う点として、リンクを自動巡回しないといった特徴が挙げられます。そのため、WEBサイトの運用者としては、Feedfetcherのクロールを制限するためには、.htaccessファイルを用いてサイトで設定するといった作業が必要です。

 

Q:フェッチャーとはなんですか?

Answer)もともと、フェッチャー(fetcher)とは、呼び込む、引き込むといった意味合いを持つ英単語を指します。転じて、Google社は、ユーザー(サイト利用者やサイト運用者)がリクエストすることで起動する技術や機能といった意味として、フェッチャーという用語を使っています。

 

たとえば、サイト利用者がフィード登録のリクエストをすると、Feedfetcherが起動してページをクロールします。このほかの例を挙げると、サイト運用者がGoogleサーチコンソールのツール(旧:Fetch as Google)を利用すると、WEBクローラーがページをクロールします。この機能は、ともにフェッチャーと呼ばれます。

 

Q:Feedfetcherの対策をすると、どのようなメリットがありますか?

Answer)Feedfetcher対策すると、SEO効果をえるケースがあります。フィードで表示されるページは、コンテンツを紹介するリストページのような構成になっています。そして、原則として、リストページは、コンテンツ品質面で評価を受けづらい傾向にあります。そのため、自社サイト内におけるフィードのインデックス数を減らすことで、自社サイトそのものの評価が高まる可能性があります。

 

Q:フィードとはどのように使うのですか?

Answer)フィードは、フィードリーダーにお気に入りのWEBサイトを登録することで利用できます。フィードリーダーに登録すると、登録サイトの更新情報を手軽に確認できるようになります。ただし、WEBサイト側がフィードを提供していない場合は、もちろん登録できません。

 

 

まとめ

amano_portraitFeedfetcherに関する、よくある質問をまとめたガイドがGoogle検索セントラル上に設置されています。本ガイドのページ項目は、Google社がサイトオーナーから受ける質問をまとめています。こうしたことから、本ガイドを読むことで、Feedfetcherに対する疑問点や不明点を解消できる可能性があります。とくに、WEBサイト上でフィードを提供しているケースでは、役立つ情報が多いので参考にしてください。

 

 

この記事の監修者

SEOコンサルタント

アドマノ株式会社 代表取締役 天野 剛志

日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返しました。そのノウハウを元に起業し現在、11期目。営業、SEOコンサル、WEB解析(Googleアナリティクス個人認定資格GAIQ保持)コーディング、サイト制作となんでもこなす。会社としては今まで2000以上のサイトのSEO対策を手掛けてきました。

監修者:アドマノ株式会社 代表取締役 天野剛志
日本大学法学部卒業、広告代理店で12年間働いている間、SEOと出会い、SEO草創期からSEO研究を始める。SEOを独学で研究し100以上のサイトで実験と検証を繰り返し、そのノウハウを元に起業し現在、10期目。営業、SEOコンサル、WEB解析、コーディング、サイト制作となんでもこなす。会社としては今まで1000以上のサイトのSEO対策を手掛けてきました。
facebookで共有 Xで共有 LINEで共有

新着記事

人気記事

WEBマーケティング

SEO対策