Webサイト（tenki.jp）から スクレイピングで情報を取得する

　APIとは
「Application Programming Interface」の頭文字をとったもので、「プログラムからアプリケーションを操作するための仕組み」。

　Web APIとは
あるサイトが備えている機能を、外部からも利用できるように公開するためのインタフェースで、クライアントのプログラムはAPIを提供しているサーバーに対してHTTP／HTTPS方式で通信が可能。

　天気予報 API（livedoor 天気互換）
 気象庁が配信している 全国各地の今日・明日・明後日の天気予報・天気詳細・予想気温・降水確率と都道府県の天気概況情報を JSON データで提供している。

　スクレイピングとは
「データを収集し、使いやすく加工すること」。
Webスクレイピングは、HTMLから自分が欲しいと思うデータを抽出し取得することで、プログラムでスクレイピングを自動化すれば、データ活用の前準備にかかる手間・時間が大幅に省略可能となる。

以下、Yahooの天気予報サイトをスクレイピングしながら、スクレイピングの手順を纏めてみた。

import requests
url = "'https://weather.yahoo.co.jp/weather/jp/27/6200.html"
info = requests.get(url)
print(info.headers)
print(info.content)

Pythonの実行結果：「header情報」の一部。

パーサーの種類。

import requests
from bs4 import BeautifulSoup
url = 'https://weather.yahoo.co.jp/weather/jp/27/6200.html'
resp = requests.get(url)
data = BeautifulSoup(resp.content,"html.parser")
print(data)

Pythonの実行結果：得られた、HTMLファイルをツリー構造で表現したオブジェクト。

print(data.text)　←　取得した data をテキスト形式で表示

Pythonの実行結果：上記の、BeautifulSoupオブジェクトをテキスト形式で表示すると、改行が入っていて見にくい。

print(data.text.replace('\n',''))
　←　取得した data から、改行を除去して表示

Pythonの実行結果：BeautifulSoupオブジェクトのテキストから、改行を除去して表示。

import requests
from bs4 import BeautifulSoup
url = 'https://weather.yahoo.co.jp/weather/jp/27/6200.html'
resp = requests.get(url)
data1 = BeautifulSoup(resp.text,"html.parser")
data2 = data1.select('#main > div.forecastCity > table > tr > td > div > p.pict')
print(data2)

Pythonの実行結果：selectで、天気予報を抽出。

Google Chromeで該当のページを開き、右上の隅にある縦の三点リーダー「︙」をクリックして「その他のツール」の中から「ディベロッパー ツール」を選択する。

開発者ツールの画面が立ち上がるので、画面左上の矢印をクリックして、Webページ内の調べたい箇所にマウスを持っていくと、画像のように要素の色が変化するのでクリックして確定する。確定した要素を右クリックして「コピー」の中から「selector をコピー」を選択する。

Yahooの天気予報サイトにおける、該当箇所のソースコード。

data2 = data1.select_one('#main > div.forecastCity > table > tr > td > div > p.pict')

Pythonの実行結果：select_oneで、天気予報を抽出。

print(data2.text.replace('\n',''))
　←　抽出した data2 をテキストで、且つ、改行を除去して表示

Pythonの実行結果：抽出結果をテキストで、且つ、改行を除去して表示。

Pythonの実行結果。

import requests
from bs4 import BeautifulSoup
#アクセスするURL：大阪をセット
url = 'https://weather.yahoo.co.jp/weather/jp/27/6200.html'
#URLにアクセスする：アクセス結果は「resp」に帰ってくる
resp = requests.get(url)
#「resp」らHTMLを取り出して、BeautifulSoupで扱えるようにパースする
soup = BeautifulSoup(resp.text, "html.parser")
#以下、CSSセレクターでHTMLからテキストを取得
#今日の日付
today_date = soup.select_one('#main > div.forecastCity > table > tr > td > div > p.date')
#今日の天気
tenki_today = soup.select_one('#main > div.forecastCity > table > tr > td > div > p.pict')
#今日の最高気温
high_today = soup.select_one('#main > div.forecastCity > table > tr > td > div > ul > li.high')
#今日の最低気温
low_today = soup.select_one('#main > div.forecastCity > table > tr > td > div > ul > li.low')
#明日の天気
tenki_tomorrow = soup.select_one('#main > div.forecastCity > table > tr > td + td > div > p.pict')
#天気の表示
print (today_date.text.replace('\n','')+"の天気")
print ("大阪府今日の天気は"+tenki_today.text.replace('\n',''))
print ("大阪府今日の最高気温は"+high_today.text)
print ("大阪府今日の最低気温は"+low_today.text)
print ("大阪府明日の天気は"+tenki_tomorrow.text.replace('\n',''))

大阪府八尾市：url = 'https://tenki.jp/forecast/6/30/6200/27212/'

import re
import requests
from bs4 import BeautifulSoup

# 与えられた日付の解析ページ(p)から、データを抽出して保存する関数
def etl(p):
	data = {}

	# 日付の抽出
	d_pattern = r"(\d+)月(\d+)日\(([土日月火水木金])+\)"
	d_src = p.select('.left-style')
	date = re.findall(d_pattern, d_src[0].text)[0]
	data["date"] = "%s-%s(%s)" % (date[0], date[1], date[2])
	print("=====" + data["date"] + "=====")

    # 天気予報の抽出
	weather           = p.select('.weather-telop')[0]
	high_temp         = p.select("[class='high-temp temp']")[0]
	high_temp_diff    = p.select("[class='high-temp tempdiff']")[0]
	low_temp          = p.select("[class='low-temp temp']")[0]
	low_temp_diff     = p.select("[class='low-temp tempdiff']")[0]
	rain_probability  = p.select('.rain-probability > td')
	wind_wave         = p.select('.wind-wave > td')[0]

    # データの保存
	data["forecasts"] = []
	forecast = {}
	forecast["weather"] = weather.text.strip()
	forecast["high_temp"] = high_temp.text.strip()
	forecast["high_temp_diff"] = high_temp_diff.text.strip()
	forecast["low_temp"] = low_temp.text.strip()
	forecast["low_temp_diff"] = low_temp_diff.text.strip()
	every_6h = {}
	for i in range(4):
		time_from = 0+6*i
		time_to   = 6+6*i
		itr       = '{:02}-{:02}'.format(time_from,time_to)
		every_6h[itr] = rain_probability[i].text.strip()
	forecast["rain_probability"] = every_6h
	forecast["wind_wave"] = wind_wave.text.strip()

	data["forecasts"].append(forecast)

	print(
		"天気              ： " + forecast["weather"] + "\n"
		"最高気温(C)       ： " + forecast["high_temp"] + "\n"
		"最高気温差(C)     ： " + forecast["high_temp_diff"] + "\n"
		"最低気温(C)       ： " + forecast["low_temp"] + "\n"
		"最低気温差(C)     ： " + forecast["low_temp_diff"] + "\n"
		"降水確率[00-06]   ： " + forecast["rain_probability"]['00-06'] + "\n"
		"降水確率[06-12]   ： " + forecast["rain_probability"]['06-12'] + "\n"
		"降水確率[12-18]   ： " + forecast["rain_probability"]['12-18'] + "\n"
		"降水確率[18-24]   ： " + forecast["rain_probability"]['18-24'] + "\n"
		"風向              ： " + forecast["wind_wave"] + "\n"
	)

	return data
# 関数はここまで

# 「pythonファイル名.py」形式で実行されているかどうかの判定
if __name__ == '__main__':

	# これ以降の処理を実行

	# アクセスするURL：日本気象協会 tenki.jp 大阪府八尾市を設定する
	url = 'https://tenki.jp/forecast/6/30/6200/27212/'

	# URLにアクセスしデータを取得する。結果は「resp1」に格納する
	resp1 = requests.get(url)

	#「resp1」のエンコーディング方式（UTF-8）で、
	#「resp1.text」をエンコードし「html」に格納する
	html =  resp1.text.encode(resp1.encoding)

	#BeautifulSoup のパーサー「lxml：高速処理」を利用して解析ページを作成する
	resp2 = BeautifulSoup(html, 'lxml')

	# 解析ページを保存するテーブルを用意する
	kaiseki = {}

	# 予測地点を取得する要素のパターンを指定する
	y_pattern = r"(.+)の今日明日の天気"

	# 指定した要素にある「title」から地域名を取得する
	kaiseki['tiiki'] = re.findall(y_pattern, resp2.title.text)[0]

	# 取得した地域名を表示する
	print(kaiseki['tiiki'] + "の天気")

	# 関数に渡すパラメータに今日の「天気予報ページ」をセット
	p_tdy = resp2.select('.today-weather')[0]
	# 関数に渡すパラメータに明日の「天気予報ページ」をセット
	p_tmr = resp2.select('.tomorrow-weather')[0]

	# 関数を使って今日のデータ抽出して保存
	kaiseki["today"] = etl(p_tdy)
	# 関数を使って明日のデータ抽出して保存
	kaiseki["tomorrow"] = etl(p_tmr)

Pythonの実行結果：

ソースコードの「title」の内容。

データ保存用配列（array）の構造。

tenki.jp サイトに於ける、3時間天気のタブ。

Pythonの実行結果。

import re
import requests
from bs4 import BeautifulSoup

# 与えられた日付の解析ページ(p)から、データを抽出して保存する関数
def etl(p):
	data = {}

	# 日付の抽出
	d_pattern = r"(\d+)月(\d+)日\(([土日月火水木金])+\)"
	d_src = p.select('.head p')
	date = re.findall(d_pattern, d_src[0].text)[0]
	data["date"] = "%s-%s(%s)" % (date[0], date[1], date[2])
	print("=====" + data["date"] + "=====")

	# 一時間ごとの天気予報の抽出
	hour           = p.select('.hour > td')
	weather        = p.select('.weather > td')
	temperature    = p.select('.temperature > td')
	prob_precip    = p.select('.prob-precip > td')
	precipitation  = p.select('.precipitation > td')
	humidity       = p.select('.humidity > td')
	wind_blow      = p.select('.wind-direction > td')
	wind_speed     = p.select('.wind-speed > td')
	
    ## 格納
	data["forecasts"] = []
	for itr in range(0, 8):
		forecast = {}
		forecast["hour"] = hour[itr].text.strip()
		forecast["weather"] = weather[itr].text.strip()
		forecast["temperature"] = temperature[itr].text.strip()
		forecast["prob-precip"] = prob_precip[itr].text.strip()
		forecast["precipitation"] = precipitation[itr].text.strip()
		forecast["humidity"] = humidity[itr].text.strip()
		forecast["wind_blow"] = wind_blow[itr].text.strip()
		forecast["wind-speed"] = wind_speed[itr].text.strip()
		data["forecasts"].append(forecast)

		print(
            "時刻         ： " + forecast["hour"] + "時" + "\n"
            "天気         ： " + forecast["weather"] + "\n"
            "気温(C)      ： " + forecast["temperature"] + "\n"
            "降水確率(%)  ： " + forecast["prob-precip"] + "\n"
            "降水量(mm/h) ： " + forecast["precipitation"] + "\n"
            "湿度(%)      ： " + forecast["humidity"] + "\n"
            "風向         ： " + forecast["wind_blow"] + "\n"
            "風速(m/s)    ： " + forecast["weather"] + "\n"
        )
	return data
	
def etl2(p):
	data = {}

	# 日付の抽出
	d_pattern = r"(\d+)月(\d+)日\(([土日月火水木金])+\)"
	d_src = p.select('.head p')
	date = re.findall(d_pattern, d_src[0].text)[0]
	data["date"] = "%s-%s(%s)" % (date[0], date[1], date[2])
	print("=====" + data["date"] + "=====")

	# 一時間ごとの天気予報の抽出
	hour           = p.select('.hour > td')
	weather        = p.select('.weather > td')
	temperature    = p.select('.temperature > td')
	prob_precip    = p.select('.prob-precip > td')
	precipitation  = p.select('.precipitation > td')
	humidity       = p.select('.humidity > td')
	wind_blow      = p.select('.wind-blow > td')
	wind_speed     = p.select('.wind-speed > td')
	
    ## 格納
	data["forecasts"] = []
	for itr in range(0, 8):
		forecast = {}
		forecast["hour"] = hour[itr].text.strip()
		forecast["weather"] = weather[itr].text.strip()
		forecast["temperature"] = temperature[itr].text.strip()
		forecast["prob-precip"] = prob_precip[itr].text.strip()
		forecast["precipitation"] = precipitation[itr].text.strip()
		forecast["humidity"] = humidity[itr].text.strip()
		forecast["wind_blow"] = wind_blow[itr].text.strip()
		forecast["wind-speed"] = wind_speed[itr].text.strip()
		data["forecasts"].append(forecast)

		print(
            "時刻         ： " + forecast["hour"] + "時" + "\n"
            "天気         ： " + forecast["weather"] + "\n"
            "気温(C)      ： " + forecast["temperature"] + "\n"
            "降水確率(%)  ： " + forecast["prob-precip"] + "\n"
            "降水量(mm/h) ： " + forecast["precipitation"] + "\n"
            "湿度(%)      ： " + forecast["humidity"] + "\n"
            "風向         ： " + forecast["wind_blow"] + "\n"
            "風速(m/s)    ： " + forecast["weather"] + "\n"
        )
	return data
# 関数はここまで

# 「pythonファイル名.py」形式で実行されているかどうかの判定
if __name__ == '__main__':

	# これ以降の処理を実行

	# アクセスするURL：日本気象協会 tenki.jp 大阪府八尾市の3時間天気を設定する
	url = 'https://tenki.jp/forecast/6/30/6200/27212/3hours.html'

	# URLにアクセスしデータを取得する。結果は「resp1」に格納する
	resp1 = requests.get(url)

	#「resp1」のエンコーディング方式（UTF-8）で、
	#「resp1.text」をエンコードし「html」に格納する
	html =  resp1.text.encode(resp1.encoding)

	#BeautifulSoup のパーサー「lxml：高速処理」を利用して解析ページを作成する
	resp2 = BeautifulSoup(html, 'lxml')

	# 解析ページを保存するテーブルを用意する
	kaiseki = {}

	# 予測地点を取得する要素のパターンを指定する
	y_pattern = r"(.+)の3時間天気"

	# 指定した要素にある「title」から地域名を取得する
	kaiseki['tiiki'] = re.findall(y_pattern, resp2.title.text)[0]

	# 取得した地域名を表示する
	print(kaiseki['tiiki'] + "の天気")
    
	# 関数に渡すパラメータに今日の「天気予報ページ」をセット
	p_tdy = resp2.find(id='forecast-point-3h-today')
	p_tmr = resp2.find(id='forecast-point-3h-tomorrow')
	p_dat = resp2.find(id='forecast-point-3h-dayaftertomorrow')
    
	# 関数を使ってデータ抽出して保存
	kaiseki["today"] = etl(p_tdy)
	kaiseki["tomorrow"] = etl2(p_tmr)
	kaiseki["dayaftertomorrow"] = etl2(p_dat)