Search Console URLエラー対策まとめ完結編 - アラコキからの Raspberry Pi 電子工作

Webサイト運用管理 SEO対策
クロールにおける『URL エラー』をなくする

8月の末あたりから10月の末まで、2か月に亘って Search Console のクロールエラーと戦ってきたが、2016.10.25 遂に撲滅することが出来た。以下その記録。

1．サイトの構成

上図のように、ルートディレクトリーにホームページを作成し、そのサブディレクトリーに WordPress を配置しており、
①．WordPress のURLは https://arakan60.com
②．ホームページのURLは http://arakan60.mydns.jp
③．このURLにパスを指定し http://arakan60.mydns.jp/wordpress
で WordPress にアクセスと、3つのURLを用意している。

2．Search Console へのサイトの登録状況

Search Console に上記3つのURLを ”プロパティ” として登録してサイトを管理しているの為、それぞれのURLでクロールエラーが発生している。

3．URLエラー発生状況

以下は、それぞれのURL毎のエラー発生状況で、8月の末頃から『見つかりません』が発生し、その後、『サーバーエラー』が増加した。

①．https://arakan60.com： PC。

①．https://arakan60.com：スマートフォン。

②．http://arakan60.mydns.jp ： PC。

②．http://arakan60.mydns.jp ：スマートフォン。

③．http://arakan60.mydns.jp/wordpress： PC。

③．http://arakan60.mydns.jp/wordpress：スマートフォン。

robots.txt による『ブロック』対策の実施

『URL エラー』の内容は、あるはずもないディレクトリーがクロールされており、ページ内に設定した内部リンクのせいで、ディレクトリーを遷移しながらURLを探しているように思われる。そこで、ディレクトリーの遷移を防ぐべく、存在しないディレクトリー構成を robots.txt に登録し、アップロードしてみる。すると、少しずつエラーが減少するとともに、ブロックされるエラーが増加するので、毎日クロールエラーの発生状況を監視し、新たにエラーになったURLをチェックしつつ robots.txt にブロックすべきディレクトリを追加するという作業を地道に続ける。
（テキストエディターで編集し、FTPでアップロード）

robots.txt でブロックしたら、サイトマップのチェックが必要。

ブロックし過ぎると下記のようになる。

検索結果に反映されるよう、ブロック条件の見直しが必要。

①．wordpress ディレクトリーに設置した robots.txt の内容（一部）。

User-Agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-includes/js/

Disallow: /05forum/
Disallow: /04kousaku/
Disallow: /03bike/
Disallow: /02jiko-su/
Disallow: /01kaidou/

Disallow: /02jiko-su/27oosaka/img27osk/2711mkcycleline/
Disallow: /02jiko-su/27oosaka/img27osk/green/

　～　省略　～

Sitemap: https://arakan60.com/wpsitemap.xml

robots.txt でブロックした結果 2016.10.21 現在の状況 https://arakan60.com

②．www ディレクトリーに設置した robots.txt の内容（一部）。

User-Agent:*
Disallow: /05forum/04kousaku/
Disallow: /05forum/03bike/
Disallow: /05forum/02jiko-su/
Disallow: /05forum/01kaidou/
Disallow: /05forum/img05/

Disallow: /04kousaku/04kousaku/
Disallow: /04kousaku/03bike/
Disallow: /04kousaku/02jiko-su/
Disallow: /04kousaku/01kaidou/

Disallow: /03bike/04kousaku/
Disallow: /03bike/03bike/
Disallow: /03bike/01kaidou/

Disallow: /02jiko-su/03bike/
Disallow: /02jiko-su/01kaidou/

Disallow: /02jiko-su/27oosaka/img27osk/2711mkcycleline/
Disallow: /02jiko-su/27oosaka/img27osk/green/
Disallow: /02jiko-su/27oosaka/img27osk/

Disallow: /02jiko-su/img228/28-012/
Disallow: /02jiko-su/img227/27-032/
Disallow: /02jiko-su/img227/27-029/
Disallow: /02jiko-su/img227/27-024/
Disallow: /02jiko-su/img227/27-013/
Disallow: /02jiko-su/img226/26-012/
Disallow: /02jiko-su/img224/24-021/
　～　省略　～
Disallow: /pagead/04kousaku/
Disallow: /pagead/03bike/
Disallow: /pagead/02jiko-su/
Disallow: /pagead/01kaidou/
Sitemap: http://arakan60.mydns.jp/sitemap.xml

robots.txt でブロックした結果 2016.10.21 現在の状況
http://arakan60.mydns.jp
http://arakan60.mydns.jp/wordpress