等待页面（用javaScript）加载和刮取html

Question

我想从网页中提取数据，为此，我需要完整的html页面。

import urllib2 
req = urllib2.Request('https://www.example.com') 
response = urllib2.urlopen(req) 
fullhtml = response.read() 

我尝试了Python库ulrllib2，之后我运行代码，我fullhtml变量只包含一个网页的一部分，因为我想在页面的某些元素加载使用JavaScript，页面后加载..

有没有一种方法来等待“整页加载”，我也尝试过库“硒”，但我不认为它对我来说是有用的。 如果有另一种语言的解决方案（例如PHP），我愿意改变语言，做到这一点。

感谢澄清，和对不起我的英语

Answer 1

看看这个http://phantomjs.org/。大多数网站都是基于javascript的，而php或python无法执行它们。我认为这个图书馆将是你能得到的最好的图书馆。