PHPCrawl有时会返回空手

Question

我使用PHPCrawl类蜘蛛网站，并建立一个链接列表。如果速度缓慢，它一切正常，然后我使用链接执行其他任务。

我遇到了一个问题，第一次运行脚本时它完成了没有结果，然后下一次运行它时，它按预期工作。大约有30％的时间没有通过。

起初我以为这是一个网络或工作站问题，但同一个问题发生在使用不同ISP的不同位置的不同机器上。

有其他人使用这个类和遇到同样的问题？

Answer 1

经过广泛的测试，我发现，它似乎是相关streamTimeout设置。

的这里的问题是，将它设置得太高导致非常缓慢爬行。修补connectionTimeout似乎调解了这一点。