2017-08-04 97 views
3

我正在尝试构建一个简短的Python程序,它提取Pewdiepie的订阅者数量,并在社交页面上每秒更新一次以在终端中显示它。我想每30秒钟收到一次这样的数据。刮着渲染的javascript网页

我试过使用PyQt,但它很慢,我已转向dryscrape,稍快,但无法正常工作,因为我想要它。我只是发现入侵者,并写了一些短代码,仍然有同样的问题:返回的数字是指在执行的JavaScript前一个页面上:

from invader import Invader 

url = 'https://socialblade.com/youtube/user/pewdiepie/realtime' 
invader = Invader(url, js=True) 

subscribers = invader.take(['#rawCount', 'text']) 
print(subscribers.text) 

我知道这个数据是通过访问site's API但它并不总是有效,有时它只是重定向到this

有没有办法在页面上的Javascript修改计数器之后得到这个数字?哪种方法似乎最适合你?提取它:

  • 从始终返回相同的小时数的原始页?
  • 来自API的页面,当在代码中和一段时间之后不使用cookie时会出现错误?

感谢您的意见!

回答