【Python】BeautifulSoup(bs4)で要素を取得する方法の覚書

2020年5月22日

僕はbs4でスクレイピングをしています。スクレイピングに不慣れなこともあって、その都度ネットで調べることも多いので、pythonのbs4を使用したスクレイピングの方法をまとめています。また、情報を調べるたびに更新していきます。

特定のclassを持つ要素を抽出

特定のクラス名を持つ要素を取得する場合のセレクタは「BeautifulSoupオブジェクト.select(‘クラス名‘)」と記述します。

import requests, bs4
res = requests.get('https://tonari-it.com’)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, “html.parser")
elems = soup.select('.entry-title’)
for elem in elems:
print(elem)

二つのクラス名を持つ要素を取得する場合のセレクタは「BeautifulSoupオブジェクト.select(‘クラス名1.クラス名2’)」とドットで連結して記述します。

import requests, bs4
res = requests.get('https://tonari-it.com’)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, “html.parser")
elems = soup.select('.entry-title.entry-title-link’)
for elem in elems:
print(elem)

出典:https://tonari-it.com/python-html-bs4-select-class/

python

Posted by きむら