使用python从源代码中抓取文本

我试图使用python和selen来搜索google搜索结果。我只能得到第一个搜索结果。这是我正在使用的代码。使用python从源代码中抓取文本

 driver.get(url) 
     res = driver.find_elements_by_css_selector('div.g') 
     link = res[0].find_element_by_tag_name("a") 
     href = link.get_attribute("href")

如何获取所有搜索结果？

来源

2017-07-18 Joe

您试图获得多个结果？ – JeffC

我使用了Andersson提出的解决方案。 – Joe

试图获得的链接列表（仅第一页。如果您需要凑更多的页面，你需要在一个循环中点击“下一步”按钮，添加从以下几页的结果。）如下：

href = [link.get_attribute("href") for link in driver.find_elements_by_css_selector('div.g a')]

PS您也可以使用this question的解决方案获得结果作为GET请求响应requests lib

来源

2017-07-18 18:05:53 Andersson

谢谢，它的工作原理。 – Joe

使用python从源代码中抓取文本

回答

相关问题