ここから本文です

Webスクレイピングで検索結果のタイトルがうまく取得できません。 Python3.6の...

fai********さん

2018/6/701:44:37

Webスクレイピングで検索結果のタイトルがうまく取得できません。

Python3.6の環境で、Webスクレイピングの勉強をしています。
特定ワードを Googleで100件検索し、タイトルを表示している

のですが
結果が正しく取れる時と取れない時があります。

「試験」というワードの場合、100件正しく取れます。
「亀」というワードの場合、31件で終了してしまいます。

詳しい方いましたら、ご教授頂きたく願います。

ソースは以下です。

#####################################
import requests
from bs4 import BeautifulSoup

def main():
url = "https://www.google.co.jp/search?num=100&q=試験"
#url = "https://www.google.co.jp/search?num=100&q=亀"
response = requests.get(url)
soup = BeautifulSoup(response.content, "lxml")

i = 1
for element in soup.select("h3.r a"):
print(str(i) + element.get_text())
i = i + 1


if __name__ == '__main__':
main()

#####################################

閲覧数:
36
回答数:
1
お礼:
500枚

違反報告

ベストアンサーに選ばれた回答

bim********さん

2018/6/713:02:05

私の環境だとどっちも100件とれますね
まあやってることはページのソースから<h3 class="r">のタグの中の<a>タグの文章を持ってきてるだけのようですから、response.contentの中身でも見れば原因がわかるんじゃないですか?

質問した人からのコメント

2018/6/7 23:25:49

pipで取得していた他のモジュールが干渉してうまくとれていなかったようでした。

ありがとうございました。

みんなで作る知恵袋 悩みや疑問、なんでも気軽にきいちゃおう!

Q&Aをキーワードで検索:

Yahoo! JAPANは、回答に記載された内容の信ぴょう性、正確性を保証しておりません。
お客様自身の責任と判断で、ご利用ください。
本文はここまでです このページの先頭へ

「追加する」ボタンを押してください。

閉じる

※知恵コレクションに追加された質問は選択されたID/ニックネームのMy知恵袋で確認できます。

不適切な投稿でないことを報告しました。

閉じる