nginx User-Agent「facebookexternalhit」を持つリクエストをブロック

J:COMより内容証明の郵便物が届く。

この間に「上りのデータ量」を測定する方法を調査するも、適切な方法が見当たらず、唯一の手掛かりとして、ルーターの機能で通信パケット数が把握できることが判明したので、パケット数の推移を測定してみる。

その後、4つあるサーバーの内の1つに「nginxのアクセスログ」が書き出されており、内容を見ると "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"
という、Facebookのクローラーが大量に来ていることに気付く。

server {
    listen 80;
    server_name example.com;

    ...

    location / {
        if ($http_user_agent ~* (facebookexternalhit|Facebot)) {
            return 403;
        }

        ...
    }

    ...
}

403 が返ってくることを確認。

http {
    log_format custom '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent"';

    access_log /var/log/nginx/custom_access.log custom;

    # その他の設定
    server {
        # サーバ設定
    }
}

import re

# Nginxのカスタムログファイルパス
log_file_path = '/var/log/nginx/custom_access.log'

# 監視するクローラーのユーザーエージェント
crawler_user_agent = 'facebookexternalhit'

# ログファイルを開いて、該当する行を抽出
with open(log_file_path, 'r') as log_file:
    for line in log_file:
        if re.search(crawler_user_agent, line):
            print(line)

import re
from collections import Counter

# Nginxのカスタムログファイルパス
log_file_path = '/var/log/nginx/custom_access.log'

# ユーザーエージェントの出現回数をカウントする変数
user_agent_counter = Counter()

# ログファイルを開いて、ユーザーエージェントを抽出
with open(log_file_path, 'r') as log_file:
    for line in log_file:
        # ユーザーエージェント部分を抽出する正規表現
        match = re.search(r'"([^"]*)"$', line)
        if match:
            user_agent = match.group(1)
            user_agent_counter[user_agent] += 1

# ユーザーエージェント別の件数を表示
for user_agent, count in user_agent_counter.most_common():
    print(f'"{user_agent}": {count} accesses')

import re
from collections import Counter
import datetime

t_delta = datetime.timedelta(hours=9)
JST = datetime.timezone(t_delta, 'JST')
now = datetime.datetime.now(JST)

# Nginxのカスタムログファイルパス
log_file_path = '/var/log/nginx/custom_access.log'

# ユーザーエージェントのパターンとカウントするための辞書
crawler_patterns = {
    'facebot': r'facebookexternalhit',
    'Apple': r'AppleWebKit',
    'Ahrefs': r'AhrefsBot',
    'Googlebot': r'Googlebot',
#    'Google-Image': r'Googlebot-Image',
#    'Google-Image': r'"Googlebot-Image/1.0"',
    'Firefox': r'Gecko',
    'DotBot': r'DotBot',
    'GrapeshotCrawler': r'GrapeshotCrawler',
    'ias-ie': r'ias-ie',
    'Barkrowler': r'Barkrowler',
    'BLEXBot': r'BLEXBot',
    'Mediapartners': r'Mediapartners',
    'Twitterbot': r'Twitterbot',
    'proximic': r'proximic',
    'ias-va': r'ias-va',
    'MJ12bot': r'MJ12bot',
    'Go-http-client': r'Go-http-client',
    'MSIE': r'MSIE',
    'Y!J-ASR': r'Y!J-ASR',
    'SemrushBot': r'SemrushBot',
    'FeedBurner': r'FeedBurner',
    'zgrab': r'zgrab',
    'CriteoBot': r'CriteoBot'
}

# ユーザーエージェントの出現回数をカウントする変数
crawler_counter = Counter()

# ログファイルを開いて、ユーザーエージェントを抽出
with open(log_file_path, 'r') as log_file:
    for line in log_file:
        # ユーザーエージェント部分を抽出する正規表現
        match = re.search(r'"([^"]*)"$', line)
        if match:
            user_agent = match.group(1)
            for crawler, pattern in crawler_patterns.items():
                if re.search(pattern, user_agent, re.IGNORECASE):
                    crawler_counter[crawler] += 1
                    break

# YYYY/MM/DD hh:mm:ss形式に書式化
d = now.strftime('%Y/%m/%d %H:%M:%S')
print(d)  # 2021/11/04 17:37:28

# ユーザーエージェント別の件数を表示
for crawler, count in crawler_counter.most_common():
    print(f'"{crawler}": {count} accesses')

ユーザーエージェントのみでの集計結果。