如何抓取具有前端js框架的网站

Question

我们目前正在尝试swiftype，并希望看到如何抓取我们的网站具有javascript框架，因为有异步调用。

我创建了一个引擎，并能够根据我的站点地图运行爬网，但不是阅读实际内容，而是阅读我的Angular js代码。

对于如：

如果有一个角码类似 <div ng-class='grey title'> {{ctrl.title}}</div>

，如果这个数据被绑定的，而不是读标题在页面加载，它读取的实际代码为{{ctrl.title}} 所以当我搜索，页面会返回类似 “这篇文章是关于{{ctrl.title}}，我们带你......”

就如何使任何想法合作与js框架兼容？

Answer 1

您可以使用“无头”浏览器，如Phantom.js。 “无头”意味着它没有GUI。由于它实际上是一个浏览器，它会正确解释页面。它可以从运行服务器端的JavaScript开始。查看Web Scraping : Handling AJAX website part I和GitHub上的代码：introWebScraping。