c＃什么是代码递归函数的有效方式

Question

我正在构建一个高交易量的系统，它的核心有一个递归函数。

简而言之，我想创建一个蜘蛛，它将轮流提取网页链接中找到的网址，然后抓取每个网址并继续执行某些操作。在很短的循环周期内，负载可以呈指数级增长，所以我希望尽可能使这些代码尽可能精简和高效。

我应该使用线程吗？如果是的话（逻辑是什么样子）

我使用最新的asp.net c＃和VS2010与.net4，并希望新的技术有一些简单的方法来做到这一点，并隐藏所有的复杂性下同时高效且超快地处理逻辑。

Answer 1

.NET的任务并行库为您的问题提供了一个很好的解决方案。有关更多信息，请参见this MSDN Magazine article。

TPL旨在完成并行执行，但为您处理线程。它还使得等待任务完成变得容易，并且在完成另一组任务时运行一个任务，等等。

就你而言，这意味着“父”会为文档中的每个链接启动一个任务，然后可以等待子任务完成（如有必要）。子任务可以递归地开始子任务等等。不用担心穿线。

Answer 2

您不应该为蜘蛛使用递归。你应该有一个任务解析一个页面，并执行你想要处理的页面。如果发现链接，应该将其添加到链接队列中（确保不要多次链接链接，否则最终会出现无限循环）。主处理器只是通过队列并处理链接。