ボクの覚え書き – CentOSでサーバ構築 サーバー構築やプログラミングの覚え書き

クローラー巡回の拒否

09.21.2008 · Posted in 覚え書き

ボクの運営しているサイトのひとつで、いろいろとテストをしているところがあるんです。当然、あまり他の人には見られたくありません。

しかし、どうやらGoogleのクローラーが巡回に来てしまっているらしいんです。ということで、クローラーが来ないようにします。

やり方はこうです。

クローラーに巡回に来てほしくないサイトのトップディレクトリに「robots.txt」というファイルを設置します。ファイルの中身はこんな感じ。

User-agent: *
Disallow: /test/

「User-agent」には、来てほしくない検索エンジンのクローラーのユーザーエージェントを指定します。Googleの場合は「Googlebot」です。今回はすべてのクローラーを拒否したいので「*」としました。

次が拒否したい場所の指定です。上記の設定では、このサイトの「/test/」ディレクトリ以下の巡回が拒否できます。サイト全体を拒否したいときは「/」、特定のページだけを拒否したいときは「/hoge.html」と指定します。

これで気兼ねなくテストできます。

Comments are closed