格安SEO対策の東京SEOメーカーは業界No.1最安値1ワード1日50円~。2020年最新SEOアルゴリズムの研究に基づく確かなSEO技術で上位表示を獲得します。

robots.txt設定がよい場合

不要なページを巡回させないようブロックしたいときは、「robots.txt」というファイルを作成します。robots.txtは、クローラーの巡回を制御するためのファイルです。「検索結果に表示させない」ことと混同されがちですが、実際は大きく異なります。

たとえば、一度インデックスされたページに対して、robot.txtで巡回をブロックしたとします。そうすると、その後ページを削除しても、検索結果から削除されることはありません。なぜかというと、削除したページへの巡回自体をブロックしているため、クローラーがページの状態を判断することができないためです。

まだインデックスされていないWebサイトの場合は、robots.txtによって検索結果に表示されないかもしれませんが、ほかのWebサイトのリンクを辿ってクローラーが巡回してきた場合には、インデックスされる可能性があります。

検索結果に表示させたくない場合は、Webサイト公開前であれば、noindexタグやパスワード保護を設定しましょう。基本的に、クローラーの速度や頻度を気にする必要はありませんが、robots.txtを設定したほうがよい場合があります。無限に生成されるURLの影響で、ページの発見が遅れてしまうクローラーは、何回かに分けてWebサイトを巡回します。

ショッピングカート内の決済プロセスでページのURLが毎回異なる場合や、CMSのカレンダ一機能により無限にページが生成される場合などは、巡回してほしいページの発見が遅れてしまいます。そのような場合は、巡回する必要のないURLのパターンを記述してブロックすることで、無駄なリソースを省き、結果的に巡回してほしいページのほうにリソースを振り分けることができます。

たとえばショッピングカートページの場合、「/cart/」以下のURLを巡回しないように、robots.txtに記述します。Google以外にも、Bingや海外検索エンジンのクローラーなどもあり、多くのクローラーが同時に巡回するとサーバー負荷が増大します。表示速度が遅くなることもあり、そのような場合にサーバー負荷に影響しそうなクローラーをブロックすることができます。この場合、Googlebotを誤ってブロックしないように注意してください。

 

SEO対策のお申込みボタン

格安SEOのTOPページへ戻る