使用LazyLoader使用Python爬取页面BeautifulSoup

Question

我正在与BeautifulSoup玩耍，我喜欢它。

问题是我试图报废的网站有一个懒惰的浏览器......而且它只剩下一部分网站。

我可以提示如何继续？我必须看看如何实现lazyloader并参数化其他任何内容吗？

Answer 1

事实证明，问题本身不是BeautifulSoup，而是页面本身的动态。对于这个特定的情况。

该页面返回页面的一部分，因此需要分析标题并相应地发送到服务器。这不是一个BeautifulSoup问题本身。

因此，看看数据如何加载到特定网站上很重要。它并不总是一个“加载整个页面，处理整个页面”的范例。在某些情况下，您需要加载部分页面并向服务器发送特定参数，以便继续加载页面的其余部分。