#4 SeleniumでGoogle検索してURLをスクレイピングするスクリプト

  Selenium Python  [公開]
icon はしまさ が 2018/01/30 19:51 に投稿 ( icon はしまさ が 2018/05/31 12:38 に編集 <更新履歴> )
  投稿を編集(サインイン)
  ストック
  アンケート回答

  目次

似たようなものを作る羽目になったので。。。
これをちょっと応用すればいろんな場所に使え・・・ないかな?

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

# Google ChromeDriver の PATH 指定
GOOGLECHROMEPATH = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe'

# 検索する語
SEARCHWORD = 'ジェイエスピー'

options = Options()
# ヘッドレスモードを有効にする(次の行をコメントアウトすると画面が表示される)
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成する。
driver = webdriver.Chrome(executable_path=GOOGLECHROMEPATH, chrome_options=options)

# Googleのトップ画面を開く
driver.get('https://www.google.co.jp/')

# 検索語を入力して送信する。
input_element = driver.find_element_by_name('q')
input_element.send_keys(SEARCHWORD)
input_element.send_keys(Keys.RETURN)

# Chromeの場合はAjaxで遷移する。短すぎると検索ヒット数が正しく表示されない。
# 2秒だと MAX 10件になってしまいダメだったので、3秒に設定している。
time.sleep(3)

# xpath から検索ヒット数を抜き出す
count = driver.find_element_by_xpath('//div[@id="resultStats"]').text
print("検索ヒット数 : " + count)

# CSSセレクタから検索結果出力
for a in driver.find_elements_by_css_selector('h3 > a'):
    print(a.get_attribute('href') + " : " + a.text)

# ブラウザーを終了する。
driver.quit()

 添付ファイル     - [0]


 コメント追加