思わしきドメインからアクセスがありました。(アクセスログを確認しました）
robots.txtでクロール禁止していても、クローラからアクセスされるものなのでしょうか？
お手数おかけしますが、宜しくお願い致します。
◆アクセスのあったドメイン
google-proxy-64-233-172-222.google.com
rate-limited-proxy-72-14-199-175.google.com
No.1
562
71
ここでベストアンサー
200pt
http://jp.techcrunch.com/2013/03/06/20130305chrome-beta-for-android-gets-support-for-experimental-data-compression-on-googles-servers-reduces-data-usage-by-50/
http://scrap.php.xdomain.jp/google_chrome_data_compressor/
GoogleのProxy経由で（人間が）アクセスしているもので、クローラではないと思いますよ。
quintiaさん、ありがとうございます！
助かりました。
Androidで、chrome設定を変更する事でgoogleのproxyを使って
アクセスできるという事ですよね。
Androidを持ってない為、試しにやってみること出来ず
申し訳ないのですが、勉強になりました！
a-kuma3さんも、星つけていただきありがとうございました。
iphoneにchrome入れても同じこと出来ました。
下記ドメインでアクセスできた事が確認できました。
google-proxy-66-249-82-243.google.com
rate-limited-proxyは携帯検索用のgoogle botですね。
http://blogs.yahoo.co.jp/noooo_spam/57087493.html
http://oshiete.goo.ne.jp/qa/5852107.html
ぽけっとしすてむ
2016/01/12 21:09:56
6
5
misaex
portal18
1
1
quintiaさん、ありがとうございます！
2016/01/13 23:29:17助かりました。
Androidで、chrome設定を変更する事でgoogleのproxyを使って
アクセスできるという事ですよね。
Androidを持ってない為、試しにやってみること出来ず
申し訳ないのですが、勉強になりました！
a-kuma3さんも、星つけていただきありがとうございました。
iphoneにchrome入れても同じこと出来ました。
2016/01/13 23:52:55下記ドメインでアクセスできた事が確認できました。
google-proxy-66-249-82-243.google.com
rate-limited-proxyは携帯検索用のgoogle botですね。
http://blogs.yahoo.co.jp/noooo_spam/57087493.html
http://oshiete.goo.ne.jp/qa/5852107.html