Pythonでエクセルから情報を取得して検索エンジンに入力！動画解説あり

Pythonで実際にスクレピングをするときに、エクセルでリストを作って回すことを想定する人は多いと思います。実際に私が考えたスクレピングを

Pythonに入力されたコードの中に検索ワードを入れるだけでは実用性はありません。何かのリスト、今回はエクセルファイルにリストを作り、エクセルから情報を抜き出して、スクレピングをしています。

今回は、Pythonでエクセルの情報を取得してGoogleにて検索を行う備忘録を作成します！

Pythonでスクレピングする

SeleniumとPandasのインポート

<pre><code>import selenium
from selenium import webdriver
import chromedriver_binary

import pandas as pd

<pre><code>import selenium

from selenium import webdriver

import chromedriver_binary

import pandas as pd

これで、Selenium（クロームの操作に必要）とPandas（エクセルからデータの抽出に必要）のインポートができます。

import time

1	import time

timeは、サーバーに負荷がかかりすぎないためにコードを強制的に止めます。そのために必要なライブラリをインポートしておきます。

Excelを開き、配列へ格納

df = pd.read_excel('./KWサンプル.xlsx',sheet_name='Sheet1')

1	df = pd.read_excel('./KWサンプル.xlsx',sheet_name='Sheet1')

この一つのコードで、エクセルの展開をすることができます。dfという変数に、エクセルのシートを丸ごと格納する。というのがコードになります。

「配列から検索KWを取得」と「 KWをGoogleのTextBoxへ入力とクリック」

for i in range(df_cnt):
    SearchTxt = driver.find_element_by_name('q')
    SearchTxt.clear()
    SearchTxt.send_keys(df.iloc[i,0])
    SearchTxt.submit()
    time.sleep(3)

for i in range(df_cnt):

SearchTxt = driver.find_element_by_name('q')

SearchTxt.clear()

SearchTxt.send_keys(df.iloc[i,0])

SearchTxt.submit()

time.sleep(3)

配列から検索KWを取得しながらKWをGoogleのTextBoxへ入力とクリックを行うことができます。

サンプルコード

import selenium
from selenium import webdriver
import chromedriver_binary

import pandas as pd

import time

df = pd.read_excel('./KWサンプル.xlsx',sheet_name='Sheet1')
df_cnt = len(df)

print(df.head())

driver = webdriver.Chrome()
driver.get('https://www.google.com/')

for i in range(df_cnt):
    SearchTxt = driver.find_element_by_name('q')
    SearchTxt.clear()
    SearchTxt.send_keys(df.iloc[i,0])
    SearchTxt.submit()
    time.sleep(3)

driver.close()

import selenium

from selenium import webdriver

import chromedriver_binary

import pandas as pd

import time

df = pd.read_excel('./KWサンプル.xlsx',sheet_name='Sheet1')

df_cnt = len(df)

print(df.head())

driver = webdriver.Chrome()

driver.get('https://www.google.com/')

for i in range(df_cnt):

SearchTxt = driver.find_element_by_name('q')

SearchTxt.clear()

SearchTxt.send_keys(df.iloc[i,0])

SearchTxt.submit()

time.sleep(3)

driver.close()

まとめ

今回一番の目的は、エクセルをリストとして使えるのか？ユーザーが操作するのはエクセルだけで良い状態は作れるのか？ということについて検討できました。

結果としては、良い結果が出たと思っています。ユーザーは見やすいエクセルを操作するだけで望んだことができます。

備忘録として保存しておきます。

この記事を書いている人

タケイチ

基本的には笑顔でいたい。人生において一番大事なのは、呑気な笑顔。本当に大切なものはお金じゃないという意味がやっと分かってきた。けど、やっぱり大切だということもわかってきた微妙なお年頃。副業をやっていく中、自分のスキル不足とアウトプット不足を感じて、この備忘録サイトを立ち上げる。自分が学んだことをアウトプットする場として活用していきたい。

執筆記事一覧