php script超时

Question

我修改了一个基本的网络爬虫来收集一个网站的链接列表，这可能会遇到数千个。我遇到的问题是脚本超时一次我尝试通过浏览器在上一个问题中提到的问题上运行它。我问，同时运行许多进程的脚本也可能会遇到问题，从而导致我在运行该服务器时遇到问题。

我将如何得到有关解决这些问题，或者我应该去同一个开源爬虫如果是这样，其履带我应该去，因为我无法找到任何具体的不够，因为phpDig网站宕机：/

previous question

Answer 1

像这样的工艺最好运行为PHP CLIcron jobs。

如果您需要能够从一个Web界面按需运行它，然后考虑使用Gearman甚至unix at command它添加到队列在后台运行。

恰巧，我已经写了Linux的at作业队列，这是available from my github account你应该选择走这条路线的PHP wrapping class。