トップページだけインデックスされない。前回の質問はこちらです。

http://q.hatena.ne.jp/1291863156

ある回答者の方から
http://www.eizu.org/のURLはクローラー巡回が拒否されてるようです。あるSEOツールで確認しましたらこのようなエラーメッセージが出ます。
↓ここから
URLの取得ができませんでした。
500 Can't connect to www.eizu.org:80 (connect: timeout)

どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?


自分としては、DNSの設定などで拒否はしていないつもりです。また、.htaccessなども設定していません。

先ほど、robots.txtだけアップしました。内容は、
User-Agent: *
Allow: /
です。

グーグルウェブマスターツールでクロール エラーを見ると、ウェブで
URL
http://www.eizu.org/
詳細
robots.txt にアクセスできません
最終検出
2010/12/06
と書かれています。

また、サイトマップ も
URL
http://www.eizu.org/
詳細
robots.txt にアクセスできません
リンク元
利用できません
となっています。

回答の条件
  • 1人2回まで
  • 登録:
  • 終了:2010/12/15 21:18:38
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

ベストアンサー

id:kou-tarou No.4

回答回数656ベストアンサー獲得回数81

ポイント74pt

サイトを拝見しました。

現状ですが、

本サイトは「検索エンジンスパム行為」とみなされ、ペナルティ(罰則)が課されている状態。と見受けられます。


一般的なペナルティとしては、以下のようなものが主にあります。軽いものから順に3つが大多数だと思います。

(1)検索結果の大きな順位の低下。

(2)検索エンジンのインデックスから除外される。

(3)スパム行為をしたサイト(ドメイン)全体が禁止される。



質問にありました、

・サイト自体がグーグルからインデックスされない状態。

・長期にわたってページが表示されない状態が続いた。

・トップページだけグーグルからインデックスされません。

・再度、サーバーにファイルをアップロード。次第にページがインデックスされるようになってきた。


この状態は、上記のペナルティ(2)(3)に該当します。

検索エンジンのインデックスデータベースからスパムページとみなされたページが削除、検索してもヒットしなくなっているのです。

特にトップページは、スパム行為を行っている可能性が少なくないです。



解決方法

・どのようにすれば、トップページをグーグルにインデックスさせることができるのでしょうか?

・どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?


スパム行為と判断される要因をサイトから除去して、検索エンジン(クローラー)の信頼を回復することが必要です。

特にトップページです。


まず、サイト内で使用している「エイズ初期症状が出たのでHIV検査」というキーフレーズを変更する。

そして、その文字の色を背景の白と近い灰色ではなく、濃い色、ゴシックにしてキーワードフレーズとして強調する。

なぜならば、このフレーズは、既に以下のサイトで使われています。


(下位のページ)

http://www.hivconsumercouncil.org/archives/16

エイズ初期症状が出たのでHIV検査

(トップページ)

http://www.hivconsumercouncil.org/

エイズ初期症状が出たのでHIV検査


「エイズ初期症状が出たのでHIV検査」で検索すると、上記URLのトップページではなく、下位のページが上位に

表示されます。それは、下位のページの「エイズ初期症状が出たのでHIV検査」が「赤文字、ゴシック」で強調され、

重要なキーフレーズとして認識されているからです。


また、ページ全体を拝見したところ、スパムと見られかねない要因、クローラーの精度を低下させる要因があります。


例えば

・文字(うすい灰色)と背景(白)、近似色を利用している。(隠し文字とみなされかねない)

・URL(eizu)やディレクトリー名(kensa、zetubou、youseihannou、kansenkeiro)に、過剰にキーワードを埋め込んでいる。

・上位に表示されているサイトのキーフレーズ(エイズ初期症状が出たのでHIV検査)、文章(HIVに感染すると、初期症状として・・・2週間後くらいいインフルエンザのような風邪の症状がでてきます。・・・)を使用している。(フェイスコピーリスティングの恐れあり)

・サイトマップがない。

・登録申請時のURLトリック(http://www.eizu.org/)、(http://www.eizu.org/index.html)を申請。?

・リンクスパムの可能性。


などがあります。


クローラーは各ページをそれぞれ独立した単位とみなして、ページ毎に登録していきます。

上記などを意識しながら、ページ毎にオリジナルな内容性を意識して改善するといいと思います。


もっとも、全て改善していくと、作業、クローラーの訪問など、時間がかかります。

そこで、無料のWebテンプレートを使ってサイトをリニューアル(URLも含め)するのもありだと思います。


書籍「おしゃれなホームページのデザイン テンプレート・コレクション」もサイトのトップから下層まであり、

容易にカスタマイズでき、お勧めです。


時間的に短縮できます。

id:hamazakianimaru

丁寧に回答ありがとうございます!同じ名前のサイトがあるのには、びっくりしました!!

参考にしながら作り変えていきたいと思います。

2010/12/15 21:17:06

その他の回答3件)

id:hanako393 No.1

回答回数1142ベストアンサー獲得回数87

ポイント10pt

Googleにクロールされても、全ページがインデックスされるわけではありません。

ページが1ページでもインデックスされてるということはクロールされてるはずです。

トップがクロールされるに、そのページにたどり着くのは無理だと思うので

クロールされてないとは考えにくいです。

いつから開設されてるのか不明ですが、ある程度時間がかかる場合もあります。

トップのURLが拒否されていたら、それ以下のページは絶対にインデックスされません。


念のため、Googleにサイト登録依頼をしておくとよいでしょう。

http://www.google.com/addurl/?hl=ja&continue=/addurl

クロールはされてるけど、インデックスされないだけです。

インデックスするかどうかは、Googleのシステムの判断です。

GoogleAdsenseもトップページだけ、公共広告になってますから

なにか理由があるのかもしれません。

GoogleAdsenseの公共広告が1週間も消えないのでしたら、

内容に問題があるのかもしれません。

id:hamazakianimaru

GoogleAdsenseの広告は、昔からトップページだけ公共広告でした。何か問題あるようです。

2010/12/15 21:03:29
id:ue3ue3ue33 No.2

回答回数22ベストアンサー獲得回数1

ポイント5pt

robots.txtを使われているという事は、検索結果に表示したくないページがサイト内になるという事ですよね?

というか、robots.txtの存在やエラーと、トップページのみがインデックスされない…というのは別問題ではないでしょうか?

一般的には、過剰なSEOによるペナルティが考えられると思うのですが、お心当たりはありませんか?

id:hamazakianimaru

過剰なSEOはしていないと思います。というか、あまりSEOの知識がないです(汗)

2010/12/15 21:04:10
id:deflation No.3

回答回数1036ベストアンサー獲得回数126

ポイント1pt

ドメインウェブの設定が行われていません。

CORE SERVERのドメインウェブの設定を行ってください。

id:hamazakianimaru

していると思いますが・・・

2010/12/15 21:07:34
id:kou-tarou No.4

回答回数656ベストアンサー獲得回数81ここでベストアンサー

ポイント74pt

サイトを拝見しました。

現状ですが、

本サイトは「検索エンジンスパム行為」とみなされ、ペナルティ(罰則)が課されている状態。と見受けられます。


一般的なペナルティとしては、以下のようなものが主にあります。軽いものから順に3つが大多数だと思います。

(1)検索結果の大きな順位の低下。

(2)検索エンジンのインデックスから除外される。

(3)スパム行為をしたサイト(ドメイン)全体が禁止される。



質問にありました、

・サイト自体がグーグルからインデックスされない状態。

・長期にわたってページが表示されない状態が続いた。

・トップページだけグーグルからインデックスされません。

・再度、サーバーにファイルをアップロード。次第にページがインデックスされるようになってきた。


この状態は、上記のペナルティ(2)(3)に該当します。

検索エンジンのインデックスデータベースからスパムページとみなされたページが削除、検索してもヒットしなくなっているのです。

特にトップページは、スパム行為を行っている可能性が少なくないです。



解決方法

・どのようにすれば、トップページをグーグルにインデックスさせることができるのでしょうか?

・どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?


スパム行為と判断される要因をサイトから除去して、検索エンジン(クローラー)の信頼を回復することが必要です。

特にトップページです。


まず、サイト内で使用している「エイズ初期症状が出たのでHIV検査」というキーフレーズを変更する。

そして、その文字の色を背景の白と近い灰色ではなく、濃い色、ゴシックにしてキーワードフレーズとして強調する。

なぜならば、このフレーズは、既に以下のサイトで使われています。


(下位のページ)

http://www.hivconsumercouncil.org/archives/16

エイズ初期症状が出たのでHIV検査

(トップページ)

http://www.hivconsumercouncil.org/

エイズ初期症状が出たのでHIV検査


「エイズ初期症状が出たのでHIV検査」で検索すると、上記URLのトップページではなく、下位のページが上位に

表示されます。それは、下位のページの「エイズ初期症状が出たのでHIV検査」が「赤文字、ゴシック」で強調され、

重要なキーフレーズとして認識されているからです。


また、ページ全体を拝見したところ、スパムと見られかねない要因、クローラーの精度を低下させる要因があります。


例えば

・文字(うすい灰色)と背景(白)、近似色を利用している。(隠し文字とみなされかねない)

・URL(eizu)やディレクトリー名(kensa、zetubou、youseihannou、kansenkeiro)に、過剰にキーワードを埋め込んでいる。

・上位に表示されているサイトのキーフレーズ(エイズ初期症状が出たのでHIV検査)、文章(HIVに感染すると、初期症状として・・・2週間後くらいいインフルエンザのような風邪の症状がでてきます。・・・)を使用している。(フェイスコピーリスティングの恐れあり)

・サイトマップがない。

・登録申請時のURLトリック(http://www.eizu.org/)、(http://www.eizu.org/index.html)を申請。?

・リンクスパムの可能性。


などがあります。


クローラーは各ページをそれぞれ独立した単位とみなして、ページ毎に登録していきます。

上記などを意識しながら、ページ毎にオリジナルな内容性を意識して改善するといいと思います。


もっとも、全て改善していくと、作業、クローラーの訪問など、時間がかかります。

そこで、無料のWebテンプレートを使ってサイトをリニューアル(URLも含め)するのもありだと思います。


書籍「おしゃれなホームページのデザイン テンプレート・コレクション」もサイトのトップから下層まであり、

容易にカスタマイズでき、お勧めです。


時間的に短縮できます。

id:hamazakianimaru

丁寧に回答ありがとうございます!同じ名前のサイトがあるのには、びっくりしました!!

参考にしながら作り変えていきたいと思います。

2010/12/15 21:17:06
  • id:hamazakianimaru
    初心者なので、できるだけ初心者むけの説明でお願いします!
  • id:deflation
    eizu.org を IP・ドメイン変換(http://abuail.ddo.jp/lookup.php)で調べてみると、グローバルIPは 202.172.28.29 であることがわかります。
    http://202.172.28.29 でアクセスすると、「ドメインウェブの設定が見つかりません」と表示されます。
    したがって、「ドメインウェブの設定が行われていません」と回答したのですが、たった1ポイントとは・・・そのうえ、まるで見当違いの回答に「イルカ賞」を与えておられる。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません