我可以使用Watir从没有监视器的Linux服务器上的网站上抓取数据吗？

Question

我可以使用Watir从网站上抓取数据（使用AJAX），但在没有监视器的Linux服务器上抓取数据？ （linode.com）？

Answer 1

有几种方法可以做到这一点：

1. 使用HtmlUnit，无论是Celerity或watir-webdriver（通过remote Selenium2/WebDriver server）。

2. 使用真正的浏览器+虚拟X服务器（Xvfb）。我建议使用watir-webdriver的Firefox驱动程序和Headless gem，这是一个简单的方法来从Ruby中控制它。

这基本上是速度和现实之间的折衷。就个人而言，如果网站有任何复杂的JavaScript或无效的HTML，我会和＃2一起去，但这两种方法都值得调查。

未来，我会密切关注this project，这看起来像一个了不起的想法。