Search Console クローラー 404 エラー対策

Webサイト 運用管理 SEO対策
Search Console における
”クロールエラー 404” 対策
 
対策の経緯
2016.09.12 Search Console からの『サーバーエラー』対策顛末記
原因:1 PCサイトのサイトマップが壊れた為。
 対策:サイトマップを手作業で作成し、アップロードし直す。
原因:2 サイトマップにアクセス出来なくなった為。
 対策:Wordpress の URL を、元の arakan60.mydns.jp/wordpress に戻す。
 
2016.09.23 nginx のエラーメッセージをカスタマイズ
存在しないファイルへのリクエストを行うと、設定した html が帰ってくるように変更。
 
2016.09.24 Google AdSense サイトは審査不能 原因と対策
現象:Fetch as Google で、Googlebot がサイトにアクセスできない。
原因:robots.txt を作成していなかったため。
対策:robots.txt を手作成し、アップロードする。
 
この時点で、robots.txt なるものの役割を認識する。
以上のような経過をたどるも、下記のような、”404”エラーが止まらない
 

 

スポンサー リンク

 

 
 
http://arakan60.mydns.jp/05forum/03bike/01kaidou/・・・http://arakan60.mydns.jp/04kousaku/04kousaku/03bike/・・・http://arakan60.mydns.jp/04kousaku/01kaidou/03bike/・・・
 
クローラーのロジックなど知る由もないが、どうも、ディレクトリーを遷移しながらリンク先を探しているように思われる。
サイトに於ける、実際のディレクトリーの構成。 crawlerr702そこで、 ディレクトリーの遷移を防ぐべく、下記内容の robots.txt を作成し、アップロードしてみる。
User-Agent:*
Disallow: /05forum/03bike/
Disallow: /05forum/02jiko-su/
Disallow: /04kousaku/04kousaku/
Disallow: /04kousaku/02jiko-su/
Disallow: /04kousaku/01kaidou/
Disallow: /02jiko-su/03bike/
Disallow: /02jiko-su/01kaidou/
 
アップロード後の robots.txt の内容。
crawlerr712
 

URLエラー 『PC』タブの状況。
crawlerr722

『スマートフォン』タブのみに ”ブロック” が表示されるようになった。
crawlerr732

何故、『スマートフォン』 タブのみに ”ブロック” が表示されるのか?。

いずれにせよ、”ブロック” される分、エラーは減少しているのだろうか。 効果の程が判らない。

以上。
(2016.09.25)

 

 

スポンサー リンク

 

             

にほんブログ村 IT技術ブログ Raspberry Piへ にほんブログ村 IT技術ブログ Webサイト構築へ にほんブログ村 IT技術ブログ WordPressへ にほんブログ村 IT技術ブログへ

 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください