Scrapy /从scrapy中隐藏的divs中提取数据

Question

嗨我试图抓取有输入文本的网站。每当我点击输入文本时，都会有输入文本值的下拉建议。它不在选择标签上。

这些建议的值是在div标签元素中。有近200个div /建议。

我所做的是使用scrapy使用xpath/css选择器从中刮除。当我使用“查看页面源代码”而不是“查看元素”查看代码时，我发现这200个div实际上是隐藏的。

请帮忙。谢谢

Answer 1

这些元素是由一些下拉库即时生成的，因此您必须调查网站源代码和/或其制作的HTTP请求。您正在寻找的所有数据都应该在那里（最有可能是JSON格式），而不是HTML本身。

例如，如果您使用的是Chrome：

1. 按F12，而你的网站
2. 按F5上
3. 导航刷新页面Network或Source选项卡，打开devtools
4. 尝试查找数据（CTRL+F会在这里非常有用）