beautifulsoup4をMacにインストールする
beautifulsoup
beautifulsoupはスクレイピングするためのもの.
macにインストール
を参考にした.beautifulsoup4を入れた.
私のmacにはpython2.7とpython3が共存しているのでpython3でbeautifulsoupを扱えるように
$ sudo easy_install beautifulsoup4
ではなく
$ sudo easy_install pip
(pipのインストール)し
$ sudo python3 -m pip install bs4
をしたらよかった.
$ python -m pip install requests
でrequestsが入った.
$ sudo easy_install lxml
でlxmlも入った.
サイトによって色々使ってるHTTPライブラリが違う.私はrequestsでやっていくことにしている.
Requests: 人間のためのHTTP — requests-docs-ja 1.0.4 documentation
$ pip freeze
$
でpipでインストールしたもの一覧を表示できる.
ちょっと動かしてみる
import requests,bs4
res = requests.get('http://www.yamaguchi-u.ac.jp/')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, "html.parser")
print(soup.title)
いい感じ.