3
我正在尝试构建一个简短的Python程序,它提取Pewdiepie的订阅者数量,并在社交页面上每秒更新一次以在终端中显示它。我想每30秒钟收到一次这样的数据。刮着渲染的javascript网页
我试过使用PyQt,但它很慢,我已转向dryscrape,稍快,但无法正常工作,因为我想要它。我只是发现入侵者,并写了一些短代码,仍然有同样的问题:返回的数字是指在执行的JavaScript前一个页面上:
from invader import Invader
url = 'https://socialblade.com/youtube/user/pewdiepie/realtime'
invader = Invader(url, js=True)
subscribers = invader.take(['#rawCount', 'text'])
print(subscribers.text)
我知道这个数据是通过访问site's API但它并不总是有效,有时它只是重定向到this。
有没有办法在页面上的Javascript修改计数器之后得到这个数字?哪种方法似乎最适合你?提取它:
- 从始终返回相同的小时数的原始页?
- 来自API的页面,当在代码中和一段时间之后不使用cookie时会出现错误?
感谢您的意见!