「AskJeeves」というロボットが何千回も来ています。
今のところ無害ですが、不気味なのでアクセス拒否したいです。
robots.txtは効果が無かったので
.htaccessで拒否しようと思います。
どのように記述すれば良いか教えて下さい。
ちなみに、分かっているのはAskJeevesという名前ぐらいで
IP、UAなどは分かりません。
※回答の際は、そのままコピペして使える状態でお願いします。
urlなどは不要です。
コピペしたものを置いてみて効果があればポイントはずみます。
逆に効果が無ければポイントは差し上げられませんのでよろしくお願い致します。
Ask Jeeves自体は普通の検索エンジンのボットです
怪しいことはないです
.htaccessで拒否する場合は以下のURLを参考にIPごとはじくのが良いかも知れません(AskJeevesのIPかどうか100%確信はないですが‥)
http://willmacc.wordpress.com/bot-ips/ask-jeeves-teoma-ip-addres...
http://72.14.203.104/search?sourceid=navclient&hl=ja&ie=...
<Files *>
order allow,deny
allow from all
deny from 140.239.126.13
deny from 140.239.251.220
deny from 140.239.251.221
deny from 140.239.251.222
deny from 140.239.251.223
~~
以下上記の要領でIPを一個一個 [deny from]
~~
</Files>
サーチエンジン Ask.jpのクローラですね。
クロールのとめ方はこちらに書いてあります。
このurlの中の
1.METAタグを使った検索結果への非表示
2.robots.txt設置による登録拒否
両方とも効果が無かったので
.htaccessで拒否したいのです。
ロボット君はこれですね。イマイチ行儀がわるいです
http://japan.cnet.com/news/media/story/0,2000056023,20087192,00....
で、止める方法はこちら
1. METAタグを使った検索結果への非表示
検索結果から非表示にしたいページに下記のHTMLを記述してください。
<META name="robots" content="noindex, nofollow">
2. robots.txt設置による登録拒否
ウェブサイトのルートディレクトリ(一番上の階層)にrobots.txt ファイルを配置します。
(配置例:http://www.×××.co.jp/robots.txt)
以下の記述をした robots.txt ファイルをウェブサイトのルートディレクトリに配置してください。
すべてのサーチ エンジンからのクロールを拒否したい場合
User-Agent: *
Disallow: /
Ask.jp のエンジンからのクロールだけを拒否したい場合
User-Agent: Teoma
Disallow: /
User-Agent: Ask Jeeves
Disallow: /
http://static.ask.jp/docs/help/help_siteregistered.html
で、上記の処置を取ったにも拘らず検索結果が表示される場合は、お手数ですが、電子メールにてtech@mail.ask.jp宛てご連絡ください。
だそうです
METAタグもrobots.txtも効果がありませんでしたが
メールしたくないので
.htaccessで拒否したいです。
今のところポイントを差し上げられる可能性があるのはilkjkさんだけです。
#.htaccess
#-----------------------------------------
SetEnvIf User-Agent "Ask Jeeves" BANAGENT
SetEnvIf User-Agent "Teoma" BANAGENT
Order allow,deny
Allow from all
Deny from env=BANAGENT
#-----------------------------------------
これで良いと思います。
おお、なんだか良さそうです。
今、試せる環境にいないので
後ほど試してみます。
---------------------------
あれからロボットが来た様子はないので
効果あったようです。
IPではじくよりこちらの方が短くてすむので、
backupper さんの方法を採用させて頂きます。
本当にありがとうございました!
いわしも拝見しました。ありがとうございます。
後ほど試してみます。