Webサーバー サイトの管理
nginx
User-Agentを持つリクエストのブロック
nginx
User-Agentを持つリクエストのブロック
Webサーバーに対してFacebookのユーザーエージェント「facebookexternalhit」が大量にリクエストされ、インターネットの上り(アップロード)データが1日あたり 30GBを超える事態が続いた。
nginxのアクセスログが、ユーザーエージェント「facebookexternalhit」で占拠された。
以下、nginxで特定のユーザーエージェントを拒否する設定と、クローラートラフィックを監視するためのカスタムスクリプトを作成した記録。