Pythonでスクレピングをするためには、Seleniumをインポートします。
Pythonを始めて2ヶ月位ですが、徐々に感覚がつかめてきたくらいで、僕が一番やりたいスクレイピングでデータを取得するのをいったんやってみます。
今回の大枠を説明
今回は、インストール方法をメインにおいてやっていきます。インストールのあとは簡単にGoogleの検索エンジンを操作してみようと思います。
その時に、Chromeを使って要素を見つける方法などをお伝えできればと思っています。
インストールについて
インストールを行う場所は、cmdプロンプトで行います。cmdプロンプトの開き方は、「ウィンドウズボタン + R」を押して、「cmd」と入力してEnterを押してください。
すると、cmdプロンプトが出ます。
Seleniumのインストール（これでエラーは出ないと思う）
エラーが出にくいと思うので、むしろエラーがあったらコメントで教えてください。
|
1 2 3 |
pip install selenium |
このあと、Successfullyが表示されたら、インストールが完了です。
webdriverのインストール
webdriverのChromedriverはバージョンに注意をしましょう。ハイパーリンク先は、バージョンの確認ができるサイトです。
chromeのバージョンを確認する方法
縦の3つのボタンを押して、「ヘルプ→GoogleChromeについて」の順番にクリックしてください。
ドラッグされている部分で確認が取れます。そして、一番近いバージョンを先ほど説明したwebdriverのバージョンに合わせてください。
インストールの実施（サンプルコード）
|
1 2 3 |
pip install chromedriver-binary==79.0.3945.16 |
簡単な練習問題
ブラウザを用意（Chrome）して、そのブラウザでGoogleの検索ページへ遷移し、検索キーワードを入力して検索Btnを押して完了。
スクレイピングサンプルコード
|
1 2 3 4 5 6 7 8 9 10 11 12 |
import selenium from selenium import webdriver import chromedriver_binary driver = webdriver.Chrome() driver.get('https://google.com/') SearchTxt = driver.find_element_by_name('q') SearchTxt.send_keys('タケイチ') SearchTxt.submit() |
全体を通してのまとめ
この部分は何度も自分でやり直した。特にバージョンが違って解決に至るまでが非常に大変だった。どれだけインポートしてもうまく進まなかったからだ。
インストール以外は非常に簡単に進むと思う。
