Crawler4j不能AJAX爬行

Question

我想从基于ajax的网站下载数据。但是crawler4j不支持ajax爬行。我想使用crawler4j，但具有此功能。我的项目基于crawler4j。我有什么办法可以做，请分享链接和代码片段。

Answer 1

检查this MadEgg的拉动请求 - 也许这将解决您的问题。您还可以在项目页面上参考the related issue，以强调在crawler4j框架内需要AJAX爬行。