解決済みの質問

robots.txtで巡回を拒否しても、Yahoo!検索結果に表示されるようになりました。

9月20日頃Yahoo!サイトエクスプローラーにてサイト全体を「検索結果で非表示」に設定し、
また、robots.txtを設置しました（User-agent: * Disallow: / ）

しばらくして10月は全てのページ（約200ページ）が検索結果に表示されなくなったのですが、11月に入ってからYahoo!の検索結果からのアクセスが増えてきたので変だなと思って検索してみたら、約30ページがインデックスされています（多くが9月20日以前の日付で）。

サイトエクスプローラーで、再度非表示に設定しようと思ったのですが、「robots.txtによって認証キーへのアクセスが拒否されました。」となって設定できません。また、Googleの検索結果には全く表示されないのでrobots.txtも正常に機能していると思います。

（１）Yahoo!の検索結果には若干残ってしまうものなのですか？
（２）インデックスを全て削除する方法は他にありますか？

検索結果に表示させないようにしたのは初めてでよく分からないので教えてください。

補足: ルートに設置しています。

違反報告

質問日時：

2009/11/14 10:19:08
解決日時：

2009/11/18 22:54:23
回答数：

2
お礼：

知恵コイン

500枚
閲覧数：

566
ソーシャルブックマークへ投稿：

Yahoo!ブックマークへ投稿

はてなブックマークへ投稿

（ソーシャルブックマークとは）

ベストアンサーに選ばれた回答

jail_1021さん

robots.txtはgoo/Google/Lycosについては有効だと言われています。
つまりそれだけではすべての巡回を回避することはできない可能性があるということです。

いささか面倒ですが、検索に表示されたくないページ自体に回避タグを打ち込むことをオススメします。
回避タグも完璧ではありません。
数打てば当たるではないですが、robotsのプログラムには数種類ありますし、対応したそれぞれのタグが必要ですのでたくさん書くことには意味があると思います。

以下は私が実際に使用しているもので、使用したページが検索されたことはありません。
<head>～</head>内に打ち込んでみてください。

<meta name="robots" content="noindex">
<meta name="ROBOTS" content="NOINDEX">
<meta name="robots" content="nofollow">
<meta name="ROBOTS" content="NOFOLLOW">
<meta name="robots" content="noimageindex">
<meta name="ROBOTS" content="NOIMAGEINDEX">
<meta name="robots" content="noarchive">
<meta name="ROBOTS" content="NOARCHIVE">
<meta name="robots" content="none">
<meta name="ROBOTS" content="NONE">
<meta name="robot-control" content="deny-quote">
<meta name="ROBOT-CONTROL" content="DENY-QUOTE">
<meta name="robot-control" content="deny-analysis">
<meta name="ROBOT-CONTROL" content="DENY-ANALYSIS">
<meta name="robot-control" content="deny-all">
<meta name="ROBOT-CONTROL" content="DENY-ALL">
<meta name="googlebot" content="noarchive">
<meta name="GOOGLEBOT" content="NOARCHIVE">
<meta http-equiv="robots" content="noindex">
<meta http-equiv="ROBOTS" content="NOINDEX">
<meta http-equiv="robots" content="nofollow">
<meta http-equiv="ROBOTS" content="NOFOLLOW">

検索結果などはキャッシュが生きているうちは残ることがあります。
そちらの消し方などについてはわからないのですが、robots回避についてならば少し解答できるので回答させていただきました。