【Python】電話帳サイトをスクレイピング

　スクレイピングの練習でもするか、と思い立ってPythonで実装してみた。
練習の題材として某電話帳サイトを選択した。
題材のサイトでは基本的には県、市区町村、住所区分に相当するコードが決められており、それらを組み合わせてURLを生成して、requestsでGETしてやるとページ情報が取得できる。以下参考URL。

python.civic-apps.com

 

5 Users

22 Pockets

HTTPのPOST/GETリクエストをする | Python Snippets

https://python.civic-apps.com/http-request-post-get/

　そして取得してきたデータから必要なものを抽出してくるときはBeautiful Soupを使った。スクレイピングしたい要素のタグ種、ID、CSSセレクタなどから要素を抽出してやって、ファイルに書き込んでいく。
ちなみに Beautiful Soup で要素を抜き出してくる処理にはFind系とSelect系があって、CSSセレクタを使って検索できるのはSelect系のみだった。 以下参考URL。

ガンマソフト株式会社

 

10 Users

37 Pockets

Beautiful Soup のfind_all( ) と select( ) の使い方の違い | ガンマソフト株式会社

https://gammasoft.jp/blog/difference-find-and-select-in-beautiful-soup-of-python/

PythonによるWebスクレイピングでは、requests と Beautiful Soup の２つのライブラリが定番です。requestsでHTMLをダウンロードし、Beautiful Soup ...

　上記で取得してきたデータをテキストファイルかなんかに書き出してやったらスクレイピング完了！というわけだ。
今回は非常に簡単な例をSeleniumなどを使わなかったので、ほかの題材の時に使って勉強してみたい、、、
以下ソースです。中身ぐちゃぐちゃで汚いけどすみません。それでは。

GitHub

symsm/ScrapingTool

https://github.com/symsm/ScrapingTool

Contribute to symsm/ScrapingTool development by creating an account on GitHub.