Search Console URLエラー 対策まとめ 完結編

Webサイト 運用管理 SEO対策
クロールにおける『URL エラー』をなくする
 
8月の末あたりから10月の末まで、2か月に亘って Search Console のクロールエラーと戦ってきたが、2016.10.25 遂に撲滅することが出来た。以下その記録。
 

 

スポンサー リンク

 

 
 
1.サイトの構成
 
sitekousei1
 
上図のように、ルートディレクトリーにホームページを作成し、そのサブディレクトリーに WordPress を配置しており、
①.WordPress のURLは https://arakan60.com
②.ホームページのURLは http://arakan60.mydns.jp
③.このURLにパスを指定し http://arakan60.mydns.jp/wordpress
で WordPress にアクセス と、3つのURLを用意している。
 
2.Search Console へのサイトの登録状況
 
Search Console に上記3つのURLを ”プロパティ” として登録してサイトを管理しているの為、それぞれのURLでクロールエラーが発生している。
sitekousei2
 
3.URLエラー発生状況
 

以下は、それぞれのURL毎のエラー発生状況で、8月の末頃から『見つかりません』が発生し、その後、『サーバーエラー』が増加した。

①.https://arakan60.com: PC。
urlmb101

①.https://arakan60.com: スマートフォン。
urlmb201

②.http://arakan60.mydns.jp : PC。
urlpc101

②.http://arakan60.mydns.jp : スマートフォン。
urlpc201

③.http://arakan60.mydns.jp/wordpress: PC。
urlpcwp101

③.http://arakan60.mydns.jp/wordpress: スマートフォン。
urlpcwp201

 

robots.txt による『ブロック』対策の実施
 

『URL エラー』の内容は、あるはずもないディレクトリーがクロールされており、ページ内に設定した内部リンクのせいで、ディレクトリーを遷移しながらURLを探しているように思われる。そこで、 ディレクトリーの遷移を防ぐべく、存在しないディレクトリー構成を robots.txt に登録し、アップロードしてみる。 すると、少しずつエラーが減少するとともに、ブロックされるエラーが増加するので、毎日クロールエラーの発生状況を監視し、新たにエラーになったURLをチェックしつつ robots.txt にブロックすべきディレクトリを追加するという作業を地道に続ける。
(テキストエディターで編集し、FTPでアップロード)
robotstxt2

robots.txt でブロックしたら、サイトマップのチェックが必要。
%e3%83%96%e3%83%ad%e3%83%83%e3%82%af%e3%81%95%e3%82%8c%e3%81%9furl21

ブロックし過ぎると下記のようになる。
%e3%83%96%e3%83%ad%e3%83%83%e3%82%af%e3%81%95%e3%82%8c%e3%81%9furl22

検索結果に反映されるよう、ブロック条件の見直しが必要。

①.wordpress ディレクトリーに設置した robots.txt の内容(一部)。

User-Agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-includes/js/
Disallow: /05forum/
Disallow: /04kousaku/
Disallow: /03bike/
Disallow: /02jiko-su/
Disallow: /01kaidou/
Disallow: /02jiko-su/27oosaka/img27osk/2711mkcycleline/
Disallow: /02jiko-su/27oosaka/img27osk/green/
 ~ 省略 ~
Sitemap: https://arakan60.com/wpsitemap.xml


robots.txt でブロックした結果 2016.10.21 現在の状況 https://arakan60.com
urlmb400

②.www ディレクトリーに設置した robots.txt の内容(一部)。

User-Agent:*
Disallow: /05forum/04kousaku/
Disallow: /05forum/03bike/
Disallow: /05forum/02jiko-su/
Disallow: /05forum/01kaidou/
Disallow: /05forum/img05/
Disallow: /04kousaku/04kousaku/
Disallow: /04kousaku/03bike/
Disallow: /04kousaku/02jiko-su/
Disallow: /04kousaku/01kaidou/
Disallow: /03bike/04kousaku/
Disallow: /03bike/03bike/
Disallow: /03bike/01kaidou/
Disallow: /02jiko-su/03bike/
Disallow: /02jiko-su/01kaidou/
Disallow: /02jiko-su/27oosaka/img27osk/2711mkcycleline/
Disallow: /02jiko-su/27oosaka/img27osk/green/
Disallow: /02jiko-su/27oosaka/img27osk/
Disallow: /02jiko-su/img228/28-012/
Disallow: /02jiko-su/img227/27-032/
Disallow: /02jiko-su/img227/27-029/
Disallow: /02jiko-su/img227/27-024/
Disallow: /02jiko-su/img227/27-013/
Disallow: /02jiko-su/img226/26-012/
Disallow: /02jiko-su/img224/24-021/
 ~ 省略 ~
Disallow: /pagead/04kousaku/
Disallow: /pagead/03bike/
Disallow: /pagead/02jiko-su/
Disallow: /pagead/01kaidou/
Sitemap: http://arakan60.mydns.jp/sitemap.xml


robots.txt でブロックした結果 2016.10.21 現在の状況
http://arakan60.mydns.jp
urlpc400http://arakan60.mydns.jp/wordpress
urlpcwp400

徐々に減少するも、毎日、クロールエラーの発生状況を監視する状況が続く。

2016.10.25 遂に、クロールエラー がゼロになる
 

①.https://arakan60.com
このサイトは、完全に無くなったわけではないが、スマートフォンの『見つかりませんでした』の1件のみになった。
urlmb300

②.http://arakan60.mydns.jp : 完全に無くなった。
urlpc300

③.http://arakan60.mydns.jp/wordpress: 完全に無くなった。
urlpcwp300

これで、クロールエラーとの戦いが終わった訳ではないと思われるが、一旦は終息したので記事にして残す。

以上。
(2016.10.25)

 

 

スポンサー リンク

 

             

 

 

 

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください