如何管理PhantomJS实例的“池”

Question

我正在计划一个内部使用的web服务，它接受一个参数，一个URL，并从该URL返回代表解析的 DOM的html。通过解析，我的意思是web服务首先会在该URL上获取页面，然后使用PhantomJS来“呈现”该页面，然后在执行完所有DHTML，AJAX调用等之后返回生成的源代码。然而，在每个请求的基础上启动幻像（我现在正在做）是方式太慢了。我宁愿有一个PhantomJS实例池，其中一个始终可用来为我的web服务提供最新的调用。

之前有没有做过这方面的工作？我宁愿将这个web服务基于其他人的工作，而不是从头开始编写自己的池管理器/ http代理服务器。

更多上下文：我已经列出了两个类似的项目，我已经在下面看到了，并且为什么我避免了每个项目，结果导致这个关于管理PhantomJS实例池的问题。我从中可以看到它对于在页面上执行脚本具有很好的功能，但它不会尝试复制浏览器行为，所以如果我将它用作通用“DOM解析器”，那么“ d最终需要大量额外的编码来处理各种边界情况，事件调用等。我看到的第一个例子是，我必须手动调用我使用节点设置的测试应用程序的body标记的onload（）函数。这似乎是一个深刻的兔子洞的开始。

Selenium - 它只有很多更多的移动部件，因此设置池来管理长期居住的浏览器实例将比使用PhantomJS更复杂。我不需要它的任何宏录制/脚本优势。我只是想要一个web服务，就像获取网页并解析它的DOM一样，就好像我正在用浏览器浏览该URL（或者如果我可以让它忽略图像等甚至更快）。

Answer 1

async JavaScript library适用于节点，具有queue功能是这种东西非常方便：

queue(worker, concurrency)

Creates a queue object with the specified concurrency. Tasks added to the queue will be processed in parallel (up to the concurrency limit). If all workers are in progress, the task is queued until one is available. Once a worker has completed a task, the task's callback is called.

一些伪代码：

function getSourceViaPhantomJs(url, callback) { 
    var resultingHtml = someMagicPhantomJsStuff(url); 
    callback(null, resultingHtml); 
} 

var q = async.queue(function (task, callback) { 
    // delegate to a function that should call callback when it's done 
    // with (err, resultingHtml) as parameters 
    getSourceViaPhantomJs(task.url, callback); 
}, 5); // up to 5 PhantomJS calls at a time 

app.get('/some/url', function(req, res) { 
    q.push({url: params['url_to_scrape']}, function (err, results) { 
    res.end(results); 
    }); 
}); 

退房的entire documentation for queue at the project's readme。

Answer 2

如果您使用的是nodejs，您可以使用https://github.com/sgentle/phantomjs-node，这将允许您将任意数量的phantomjs进程连接到主要NodeJS进程，因此可以使用async.js和大量节点好东西。

Answer 3

我设置了一个PhantomJs云服务，它几乎可以满足您的要求。我花了大约5个星期的工作。

您遇到的最大问题是已知问题memory leaks in PhantomJs。我为此工作的方式是每50次调用一次我的实例。

您将遇到的第二大问题是每页处理非常CPU和内存密集型，因此每个CPU只能运行4个左右的实例。

你会遇到的第三大问题是PhantomJs在页面结束事件和重定向方面非常古怪。您会被告知您的网页在实际显示之前完成了渲染。 There are a number of ways to deal with this，但不幸的是没有'标准'。

您需要处理的第四大问题是在nodejs和phantomjs之间进行互操作，幸好有a lot of npm packages that deal with this issue可供选择。

所以我知道我有偏见（正如我写的解决方案，我要建议），但我建议你检查PhantomJsCloud.com这是免费的光使用。

2015年1月更新：我碰到的另一个（第5个？）大问题是如何从管理器/负载均衡器发送请求/响应。最初我使用PhantomJS的内置HTTP服务器，但仍然遇到它的限制，特别是在最大响应大小方面。我最终将本地文件系统的请求/响应写为通信线路。 *实施该服务所花费的总时间可能表示为20个人周问题，可能需要1000小时的工作时间。 *和FYI我正在为下一个版本做一个完整的重写....（进行中）

Answer 4

作为@JasonS伟大答案的替代品，您可以尝试我建立的PhearJS。 PhearJS是用NodeJS为PhantomJS实例编写的主管，并通过HTTP提供API。它可从Github开放源代码。

Answer 5

如果你正在使用的NodeJS为什么不使用硒的webdriver

1. 运行一些phantomjs实例作为webdriver的 phantomjs --webdriver=port_number

2. 每个phantomjs实例创建PhantomInstance

   function PhantomInstance(port) { 
       this.port = port; 
   } 
   
   PhantomInstance.prototype.getDriver = function() { 
       var self = this; 
       var driver = new webdriver.Builder() 
        .forBrowser('phantomjs') 
        .usingServer('http://localhost:'+self.port) 
        .build(); 
       return driver; 
   } 
   

   ，并把所有的他们到一个阵列[phantomInstance1，phantomInstance2]

3. 创建从阵列得到免费phantomInstance和

   var driver = phantomInstance.getDriver(); 
   

Answer 6

对于我的硕士论文dispather.js，我开发出不正是这个库phantomjs-pool。它允许提供映射到PhantomJS工作人员的工作。该库处理作业分布，通信，错误处理，日志记录，重新启动等等。该图书馆已成功用于抓取超过一百万页。

实施例：

下面的代码执行谷歌搜索数字0到9，并保存页面的屏幕截图作为googleX.png。并行抓取四个网站（由于创建了四名工作人员）。该脚本通过node master.js启动。

master.js（在Node.js的环境中运行）

var Pool = require('phantomjs-pool').Pool; 

var pool = new Pool({ // create a pool 
    numWorkers : 4, // with 4 workers 
    jobCallback : jobCallback, 
    workerFile : __dirname + '/worker.js', // location of the worker file 
    phantomjsBinary : __dirname + '/path/to/phantomjs_binary' // either provide the location of the binary or install phantomjs or phantomjs2 (via npm) 
}); 
pool.start(); 

function jobCallback(job, worker, index) { // called to create a single job 
    if (index < 10) { // index is count up for each job automatically 
     job(index, function(err) { // create the job with index as data 
      console.log('DONE: ' + index); // log that the job was done 
     }); 
    } else { 
     job(null); // no more jobs 
    } 
} 

worker.js（在PhantomJS的环境下运行）

var webpage = require('webpage'); 

module.exports = function(data, done, worker) { // data provided by the master 
    var page = webpage.create(); 

    // search for the given data (which contains the index number) and save a screenshot 
    page.open('https://www.google.com/search?q=' + data, function() { 
     page.render('google' + data + '.png'); 
     done(); // signal that the job was executed 
    }); 

};