Webサーバー サイトの管理
Search Console
URLエラーを無くす robots.txt の作り方
Search Console
URLエラーを無くす robots.txt の作り方
robots.txt は、GoogleやYahoo!といった検索エンジンが、サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルで、特定のファイルやディレクトリをクロール禁止に指定することで、これらの関連ページや画像などを、検索エンジンにインデックスさせないようにすることができる。