如何抓取我的网站以检测404/500错误？

Question

是否有任何快速（也许是多线程）的方式来抓取我的网站（点击所有本地链接）寻找404/500错误（即确保200响应）？

我也希望能够将它设置为只能点击进入每种类型的链接。所以如果我有1000个分类页面，它只能点击一个。

是http://code.google.com/p/crawler4j/一个不错的选择？

我想要一些非常容易设置的东西，而且我更喜欢使用PHP而不是Java（尽管如果Java速度明显更快，那也可以）。

Answer 1

您可以使用旧的稳定Xenu工具来抓取您的网站。

您可以配置他使用100个线程和状态码结果进行排序[500 \ 404 \ 200 \ 403]

Answer 2

你可以用任何数量的开源Python项目的很轻松地实现这一点：

1. 机械化似乎很流行
2. 美丽的汤和urllib的

你会抓取使用一个网站的方法并检查服务器的响应，这应该是非常简单的。然而，如果你有一个网站地图（或者包含你所有网址的任何列表），你可以试着用cURL或者urllib打开每个网站，并且无需抓取就可以得到你的回应。

Answer 3

定义“快”？你的网站有多大？ cURL将是一个很好的开始：http://curl.haxx.se/docs/manual.html

除非你有一个真正巨大的网站，并且需要在秒的时间尺度上进行测试，只需将URL列举到列表中并尝试每个网站。