Search Console クローラー 404 エラー対策

Webサイト 運用管理 SEO対策
Search Console における
”クロールエラー 404” 対策
 
対策の経緯
2016.09.12 Search Console からの『サーバーエラー』対策顛末記
原因:1 PCサイトのサイトマップが壊れた為。
 対策:サイトマップを手作業で作成し、アップロードし直す。
原因:2 サイトマップにアクセス出来なくなった為。
 対策:Wordpress の URL を、元の arakan60.mydns.jp/wordpress に戻す。
 
2016.09.23 nginx のエラーメッセージをカスタマイズ
存在しないファイルへのリクエストを行うと、設定した html が帰ってくるように変更。
 
2016.09.24 Google AdSense サイトは審査不能 原因と対策
現象:Fetch as Google で、Googlebot がサイトにアクセスできない。
原因:robots.txt を作成していなかったため。
対策:robots.txt を手作成し、アップロードする。
 
この時点で、robots.txt なるものの役割を認識する。
以上のような経過をたどるも、下記のような、”404”エラーが止まらない

スポンサー リンク

 
http://arakan60.mydns.jp/05forum/03bike/01kaidou/・・・http://arakan60.mydns.jp/04kousaku/04kousaku/03bike/・・・http://arakan60.mydns.jp/04kousaku/01kaidou/03bike/・・・
 
クローラーのロジックなど知る由もないが、どうも、ディレクトリーを遷移しながらリンク先を探しているように思われる。
サイトに於ける、実際のディレクトリーの構成。 crawlerr702そこで、 ディレクトリーの遷移を防ぐべく、下記内容の robots.txt を作成し、アップロードしてみる。
User-Agent:*
Disallow: /05forum/03bike/
Disallow: /05forum/02jiko-su/
Disallow: /04kousaku/04kousaku/
Disallow: /04kousaku/02jiko-su/
Disallow: /04kousaku/01kaidou/
Disallow: /02jiko-su/03bike/
Disallow: /02jiko-su/01kaidou/
 
アップロード後の robots.txt の内容。
crawlerr712
 

URLエラー 『PC』タブの状況。
crawlerr722

『スマートフォン』タブのみに ”ブロック” が表示されるようになった。
crawlerr732

何故、『スマートフォン』 タブのみに ”ブロック” が表示されるのか?。

いずれにせよ、”ブロック” される分、エラーは減少しているのだろうか。 効果の程が判らない。

以上。
(2016.09.25)

 

 

スポンサー リンク

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です