使用谷歌浏览器扩展的网页搜刮Python

嗨，我是一个Python新手，我正在网页抓取一个网页。使用谷歌浏览器扩展的网页搜刮Python

我正在使用Google Chrome开发人员扩展程序来识别要刮取的对象的类。但是，我的代码返回空数组结果，而屏幕截图清楚地表明这些字符串在HTML代码中。 Chrome Developer

import requests 
from bs4 import BeautifulSoup 

    url = 'http://www.momondo.de/flightsearch/?Search=true&TripType=2&SegNo=2&SO0=BOS&SD0=LON&SDP0=07-09-2016&SO1=LON&SD1=BOS&SDP1=12-09-2016&AD=1&TK=ECO&DO=false&NA=false' 
    html = requests.get(url) 
    soup = BeautifulSoup(html.text,"lxml") 
    x = soup.find_all("span", {"class":"value"}) 
    print(x) 
    #pprint.pprint (soup.div)

我非常欣赏你的帮助！

非常感谢！

来源

2016-08-23 Fabian

请确保您所期望的数据实际存在。使用''' print（soup.prettify（））'''来查看请求中实际返回的内容。取决于网站的工作方式，您要查找的数据可能仅在处理完javascript后才存在于浏览器中。你可能也想看看硒 – WombatPM

将我的意见转换为答案...

确保您所期望的数据实际上存在。使用print(soup.prettify())查看请求中实际返回的内容。取决于网站的工作方式，您要查找的数据可能仅在处理完javascript后才存在于浏览器中。您可能还想看看selenium

来源

2016-08-23 15:09:24 WombatPM

使用谷歌浏览器扩展的网页搜刮Python

回答

相关问题