Webサーバー サイトの管理
nginx Reverse Proxy
AIクローラーのブロックとトラフィックの監視
nginx Reverse Proxy
AIクローラーのブロックとトラフィックの監視
最近 AIクローラーのユーザーエージェントによるアクセスが急増し、Webサーバーのレスポンスに影響を及ぼすようになった。
「meta-externalagent」と「GPTBot」。
「meta-externalagent」と「GPTBot」。
以下、ユーザーエージェントでのブロック方法とトラフィックの監視要領をまとめた。