使用node.js缩放web刮取网站

Question

我正在开发一个网页抓取网站以查找可用的递送餐馆。网站搜索最流行的传递门户网站，并将结果显示在一个页面中。

该网站托管在Heroku与4 dynos。

http://deliveria.net/#05409-002

当用户在网站上的要求，它使大约30 HTTP请求来检索结果。

问题是性能，请求不是很快，每个搜索都可以使其中的30个锁定应用程序，同时为单个用户执行搜索。

我试图增加Heroku的DYNOS：

heroku scale web=10 

而且我不觉得可察觉的增益。

扩展这种应用程序的最佳方法是什么？

（我不能使用高速缓存，作为搜索需要在实时）

当前堆栈：

• Heroku的
• Node.js的
• 表达
• 请求模块
• EJS
• 推动器
• Redis的

Answer 1

这里最重要的是要有工人，因为你必须避免阻断您的主应用程序事件循环。

尝试委托可用工作人员之间的30个http请求。也许Kue可以帮助你解决这个问题（你把新的工作推到队列中，并由工作人员逐一执行）。例如，如果你在Heroku上有10个dynos，那么使用9代表工作者（即进行30次http搜索）。从用户的角度来看，重要的是要知道应用程序对他的搜索做出了快速反应（并且不会给他“冻结”的印象），所以也许你想尽快更新他初步结果（例如从30页中搜索10页）。你可以通过WebSockets（Socket.IO）做到这一点，甚至显示一个不错的图形化进度条或类似的东西。