是建立链接树履带形成一个单一的网站

Question

我想知道是否有任何外包的抓取工具，将解析只有链接和页面形成一个给定的网站解决方案，并且将输出：

1。链接树 2.页面（必要时）

谢谢！

Answer 1

你不需要任何特定的框架来完成这项任务。你知道什么语言？如果您了解Java，则可以使用HttpClient或HttpUnit库来帮助您执行抓取任务。

如果你是python用户，有很好的框架称为Scrapy（http://scrapy.org/)。你应该检查它。