2016-11-20 121 views
0

我工作的一个脚本从这个网页 “https://www.google.com.eg/trends/hotvideos” 刮视频节目,但proplem是标题被隐藏的HTML源代码页面上,但我可以看到它,如果我使用的检查,以寻找那如何从隐藏的div和类使用python抓取文本?

这是我的代码它运行良好(“class”:“wrap”) 但是当我用那个隐藏的类如“class”:“hotvideos-single-trend-title-container”时,它没有给我任何东西on output

#import urllib2 
from urllib.request import urlopen 
from bs4 import BeautifulSoup 
html = urlopen('https://www.google.com.eg/trends/hotvideos').read() 
soup = BeautifulSoup(html) 
print (soup.findAll('div',{"class":"hotvideos-single-trend-title-container"})) 
#wrap 

回答

0

该页面使用Javascript生成/填充。

BeautifulSoup不会帮助你在这里,你需要哪些支持JavaScript生成的HTML页面的图书馆,在这里看到了list或看看Selenium