http://q.hatena.ne.jp/1291863156
ある回答者の方から
http://www.eizu.org/のURLはクローラー巡回が拒否されてるようです。あるSEOツールで確認しましたらこのようなエラーメッセージが出ます。
↓ここから
URLの取得ができませんでした。
500 Can't connect to www.eizu.org:80 (connect: timeout)
どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?
自分としては、DNSの設定などで拒否はしていないつもりです。また、.htaccessなども設定していません。
先ほど、robots.txtだけアップしました。内容は、
User-Agent: *
Allow: /
です。
グーグルウェブマスターツールでクロール エラーを見ると、ウェブで
URL
http://www.eizu.org/
詳細
robots.txt にアクセスできません
最終検出
2010/12/06
と書かれています。
また、サイトマップ も
URL
http://www.eizu.org/
詳細
robots.txt にアクセスできません
リンク元
利用できません
となっています。
サイトを拝見しました。
現状ですが、
本サイトは「検索エンジンスパム行為」とみなされ、ペナルティ(罰則)が課されている状態。と見受けられます。
一般的なペナルティとしては、以下のようなものが主にあります。軽いものから順に3つが大多数だと思います。
(1)検索結果の大きな順位の低下。
(2)検索エンジンのインデックスから除外される。
(3)スパム行為をしたサイト(ドメイン)全体が禁止される。
質問にありました、
・サイト自体がグーグルからインデックスされない状態。
・長期にわたってページが表示されない状態が続いた。
・トップページだけグーグルからインデックスされません。
・再度、サーバーにファイルをアップロード。次第にページがインデックスされるようになってきた。
この状態は、上記のペナルティ(2)(3)に該当します。
検索エンジンのインデックスデータベースからスパムページとみなされたページが削除、検索してもヒットしなくなっているのです。
特にトップページは、スパム行為を行っている可能性が少なくないです。
解決方法
・どのようにすれば、トップページをグーグルにインデックスさせることができるのでしょうか?
・どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?
スパム行為と判断される要因をサイトから除去して、検索エンジン(クローラー)の信頼を回復することが必要です。
特にトップページです。
まず、サイト内で使用している「エイズ初期症状が出たのでHIV検査」というキーフレーズを変更する。
そして、その文字の色を背景の白と近い灰色ではなく、濃い色、ゴシックにしてキーワードフレーズとして強調する。
なぜならば、このフレーズは、既に以下のサイトで使われています。
(下位のページ)
http://www.hivconsumercouncil.org/archives/16
エイズ初期症状が出たのでHIV検査
(トップページ)
http://www.hivconsumercouncil.org/
エイズ初期症状が出たのでHIV検査
「エイズ初期症状が出たのでHIV検査」で検索すると、上記URLのトップページではなく、下位のページが上位に
表示されます。それは、下位のページの「エイズ初期症状が出たのでHIV検査」が「赤文字、ゴシック」で強調され、
重要なキーフレーズとして認識されているからです。
また、ページ全体を拝見したところ、スパムと見られかねない要因、クローラーの精度を低下させる要因があります。
例えば
・文字(うすい灰色)と背景(白)、近似色を利用している。(隠し文字とみなされかねない)
・URL(eizu)やディレクトリー名(kensa、zetubou、youseihannou、kansenkeiro)に、過剰にキーワードを埋め込んでいる。
・上位に表示されているサイトのキーフレーズ(エイズ初期症状が出たのでHIV検査)、文章(HIVに感染すると、初期症状として・・・2週間後くらいいインフルエンザのような風邪の症状がでてきます。・・・)を使用している。(フェイスコピーリスティングの恐れあり)
・サイトマップがない。
・登録申請時のURLトリック(http://www.eizu.org/)、(http://www.eizu.org/index.html)を申請。?
・リンクスパムの可能性。
などがあります。
クローラーは各ページをそれぞれ独立した単位とみなして、ページ毎に登録していきます。
上記などを意識しながら、ページ毎にオリジナルな内容性を意識して改善するといいと思います。
もっとも、全て改善していくと、作業、クローラーの訪問など、時間がかかります。
そこで、無料のWebテンプレートを使ってサイトをリニューアル(URLも含め)するのもありだと思います。
書籍「おしゃれなホームページのデザイン テンプレート・コレクション」もサイトのトップから下層まであり、
容易にカスタマイズでき、お勧めです。
時間的に短縮できます。
Googleにクロールされても、全ページがインデックスされるわけではありません。
ページが1ページでもインデックスされてるということはクロールされてるはずです。
トップがクロールされるに、そのページにたどり着くのは無理だと思うので
クロールされてないとは考えにくいです。
いつから開設されてるのか不明ですが、ある程度時間がかかる場合もあります。
トップのURLが拒否されていたら、それ以下のページは絶対にインデックスされません。
念のため、Googleにサイト登録依頼をしておくとよいでしょう。
http://www.google.com/addurl/?hl=ja&continue=/addurl
クロールはされてるけど、インデックスされないだけです。
インデックスするかどうかは、Googleのシステムの判断です。
GoogleAdsenseもトップページだけ、公共広告になってますから
なにか理由があるのかもしれません。
GoogleAdsenseの公共広告が1週間も消えないのでしたら、
内容に問題があるのかもしれません。
GoogleAdsenseの広告は、昔からトップページだけ公共広告でした。何か問題あるようです。
robots.txtを使われているという事は、検索結果に表示したくないページがサイト内になるという事ですよね?
というか、robots.txtの存在やエラーと、トップページのみがインデックスされない…というのは別問題ではないでしょうか?
一般的には、過剰なSEOによるペナルティが考えられると思うのですが、お心当たりはありませんか?
過剰なSEOはしていないと思います。というか、あまりSEOの知識がないです(汗)
サイトを拝見しました。
現状ですが、
本サイトは「検索エンジンスパム行為」とみなされ、ペナルティ(罰則)が課されている状態。と見受けられます。
一般的なペナルティとしては、以下のようなものが主にあります。軽いものから順に3つが大多数だと思います。
(1)検索結果の大きな順位の低下。
(2)検索エンジンのインデックスから除外される。
(3)スパム行為をしたサイト(ドメイン)全体が禁止される。
質問にありました、
・サイト自体がグーグルからインデックスされない状態。
・長期にわたってページが表示されない状態が続いた。
・トップページだけグーグルからインデックスされません。
・再度、サーバーにファイルをアップロード。次第にページがインデックスされるようになってきた。
この状態は、上記のペナルティ(2)(3)に該当します。
検索エンジンのインデックスデータベースからスパムページとみなされたページが削除、検索してもヒットしなくなっているのです。
特にトップページは、スパム行為を行っている可能性が少なくないです。
解決方法
・どのようにすれば、トップページをグーグルにインデックスさせることができるのでしょうか?
・どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?
スパム行為と判断される要因をサイトから除去して、検索エンジン(クローラー)の信頼を回復することが必要です。
特にトップページです。
まず、サイト内で使用している「エイズ初期症状が出たのでHIV検査」というキーフレーズを変更する。
そして、その文字の色を背景の白と近い灰色ではなく、濃い色、ゴシックにしてキーワードフレーズとして強調する。
なぜならば、このフレーズは、既に以下のサイトで使われています。
(下位のページ)
http://www.hivconsumercouncil.org/archives/16
エイズ初期症状が出たのでHIV検査
(トップページ)
http://www.hivconsumercouncil.org/
エイズ初期症状が出たのでHIV検査
「エイズ初期症状が出たのでHIV検査」で検索すると、上記URLのトップページではなく、下位のページが上位に
表示されます。それは、下位のページの「エイズ初期症状が出たのでHIV検査」が「赤文字、ゴシック」で強調され、
重要なキーフレーズとして認識されているからです。
また、ページ全体を拝見したところ、スパムと見られかねない要因、クローラーの精度を低下させる要因があります。
例えば
・文字(うすい灰色)と背景(白)、近似色を利用している。(隠し文字とみなされかねない)
・URL(eizu)やディレクトリー名(kensa、zetubou、youseihannou、kansenkeiro)に、過剰にキーワードを埋め込んでいる。
・上位に表示されているサイトのキーフレーズ(エイズ初期症状が出たのでHIV検査)、文章(HIVに感染すると、初期症状として・・・2週間後くらいいインフルエンザのような風邪の症状がでてきます。・・・)を使用している。(フェイスコピーリスティングの恐れあり)
・サイトマップがない。
・登録申請時のURLトリック(http://www.eizu.org/)、(http://www.eizu.org/index.html)を申請。?
・リンクスパムの可能性。
などがあります。
クローラーは各ページをそれぞれ独立した単位とみなして、ページ毎に登録していきます。
上記などを意識しながら、ページ毎にオリジナルな内容性を意識して改善するといいと思います。
もっとも、全て改善していくと、作業、クローラーの訪問など、時間がかかります。
そこで、無料のWebテンプレートを使ってサイトをリニューアル(URLも含め)するのもありだと思います。
書籍「おしゃれなホームページのデザイン テンプレート・コレクション」もサイトのトップから下層まであり、
容易にカスタマイズでき、お勧めです。
時間的に短縮できます。
丁寧に回答ありがとうございます!同じ名前のサイトがあるのには、びっくりしました!!
参考にしながら作り変えていきたいと思います。
丁寧に回答ありがとうございます!同じ名前のサイトがあるのには、びっくりしました!!
参考にしながら作り変えていきたいと思います。