ロボットテキスト(robots.txt)の書き方~クローラー拒否の作成法

速水です。

noindex、nofollowの使い方については
以前ご説明しました。

noindex、nofollowとは~タグの書き方使い方

でも、noindexを使っても、インデックスされないだけで
相変わらずそのページにクローラーは入ってくる
ということでしたね。

ファイル名「robots.txt」

なので中には「完全にクローラーをブロックしたい」
と考える人もいるはずです。

そのために使うのが
「ロボットテキスト(robots.txt)」です。

robots.txtというファイル名で作ります。

そのままです。^^;

ロボットテキストの書き方の基本形

ロボットテキストの書き方は簡単です。
基本はこのような形になります。

User-Agent: *
Disallow: /

1行目は「*(ワイルドカード)」となっていますが

これはGoogle、Bing、百度など
全ての検索エンジンをブロックする
という意味です。

個別にブロックすることもできます。
その場合は、ワイルドカートの部分を
以下のように書き換えます。

  • Google・・・Googlebot
  • Bing・・・bingbot
  • 百度・・・baiduspider

ヤフーはGoogleのシステムを使っていますので
グーグルボットをブロックすればOKです。

たっだ、「クローラーを完全にブロックしたい」
と思っている人がわざわざ個別指定するとは
思えませんけどね。^^;

ということで基本形に戻ります。

必ずルートディレクトリにアップロードする

User-Agent: *
Disallow: /

書き換える必要があるのは2行目だけですね。

ロボットテキストのファイルは、
ドメインのルートディレクトリにアップします。

ルートディレクトリというのは
そのドメインの一番上層のディレクトリという意味です。

http://www.arigatou365.com/

でいえば、

http://www.arigatou365.com/この部分

ということになります。

さて。

重要なのは2行目

User-Agent: *
Disallow: /

この場合だと2行目は「/」のみとなっていますが、
これだと「http://www.arigatou365.com/」全体に対して
ロボット拒否ということになります。

では「http://www.arigatou365.com/」の下にある
「aaaaa」というフォルダだけ拒否したい、

つまり「http://www.arigatou365.com/aaaaa/」という
URLだけロボットを拒否したい場合の書き方は、

User-Agent: *
Disallow: /aaaaa/

となります。

ディレクトリでじゃなくて、
1つのファイル=ページに関して
ロボットを拒否したい場合、

たとえば、
「http://www.arigatou365.com/bbbbb.html」
というURLだけ拒否したい場合は、

User-Agent: *
Disallow: /bbbbb.html

という書き方になります。

応用編

じゃあ複数のディレクトリで
クローラーを拒否したい場合はどうするの?
ということですけど、

この場合は、同じ文字列で始まる
ディレクトリを一括で扱うのが便利です。

たとえば、

「http://www.arigatou365.com/himitsu-tokuten/」
「http://www.arigatou365.com/himitsu-manual/」

という2つのURLでクローラーを拒否したい場合は、

User-Agent: *
Disallow: /himitsu*/

という書き方になります。
最後にワイルドカードをつけるんですね。

上記の場合は「himitsu」で始まる
全てのディレクトリに対して、
クローラーの進入を拒否するということです。

注意点としては、
デレクトリ名やファイル名では
大文字と小文字が区別されるということですね。

「himitsu」と記述した場合、
「Himitsu」はブロックされないということです。

 

速水でした。

最短距離で成果に到達し、将来も安定して報酬を得続けるために
こちらで私の持つ知識をまるごとお伝えしています。

速水鏡の「東大式」ネットビジネス講座
ネットビジネスで生き残るための「3つの必須スキル」プレゼント中

何でも気軽にお問い合わせください。^^

お問い合わせフォーム

関連記事:

速水鏡のインターネット副業講座【目次】

サブコンテンツ
管理人

管理人:ハヤミ(速水鏡)

趣味:オンラインゲーム、
読書、パソコン自作

特技は立ち読み。「タダ」で最後まで読み切った本は軽く百冊を超える。本屋さんの敵。(笑

そしてネコ好き

プロフィールはこちら

このページの先頭へ