ボクの覚え書き – CentOSでサーバ構築 サーバー構築やプログラミングの覚え書き

Posts Tagged ‘クローラー’

クローラー巡回の拒否

09.21.2008 · Posted in 覚え書き

ボクの運営しているサイトのひとつで、いろいろとテストをしているところがあるんです。当然、あまり他の人には見られたくありません。 しかし、どうやらGoogleのクローラーが巡回に来てしまっているらしいんです。ということで、 […] ...