好网站测试webcrawler

Question

我正在测试一个新的webcrawler，我正在寻找一些好的网站，可能会绊倒它（重定向，框架，任何东西）。有没有人知道一些非常复杂的网站，或者可能会将它绊倒的网站？ Thx

Answer 1

如果你在Alexa top 1000左右进行测试，你会得到一个很有代表性的网站内容。你可能没有机会测试一些传统协议（例如框架，等等），但是你会得到一个相当不错的性能概念，尤其是在重要的地方。