使用TPL做一些“工作”

我开始一个小小的“工作管理器”，它会执行一个“Job”对象实现一个“IJob”方法。每个IJob都会返回潜在的新工作列表。使用TPL做一些“工作”

我所有的工作都存储在一个队列中，这个队列可以安全地访问线程，当我完成一个工作时，我将这个队列添加到新的查询作业中。

我正在寻找如何将此与TPL并行化。

我有一些想法，但他们都不是有效的，由于我的限制，这是：

我需要限制线程的数量（假设4），因为有些要求是quering一个网站，它不允许超过4个同时请求（我想我可以用信号量来管理这个）
我的工作列表将会改变，所以我不能启动4个线程，将工作数量除以数字的线程，并且每个线程都运行他的一堆工作。
也许有时候，如果我有4个线程，我只有一个工作更多，但我不能让其他线程停下来，因为也许我上次运行的工作会创造更多的工作。

非常感谢！

来源

2011-04-15 J4N

这真是动态的任务并行。您的代码循环遍历您拥有的任务并执行每个任务。每个作业都可以向使用addMethod和并发队列的新作业添加。

public static void ParallelWhileNotEmpty<T>(
    IEnumerable<T> initialValues, 
    Action<T, Action<T>> body) 
{ 
    var opts = new ParallelOptions { MaxDegreeOfParallelism = 10 }; 
    var from = new ConcurrentQueue<T>(initialValues); 
    while (!from.IsEmpty) 
    { 
    var to = new ConcurrentQueue<T>(); 
    Action<T> addMethod = to.Enqueue; 
    Parallel.ForEach(from, opts. body(v, addMethod));   
    from = to; 
    } 
}

这种方式“循环”是开放式的，并将继续，直到你用完工作。很明显，你真正的应用程序会解释重复的URL，而不是添加它们等。但是这可以让你的应用程序动态添加工作。您可以使用ParallelOptions来限制并发，也可以编写调度程序。

有关动态任务并行的更多信息请参见

http://msdn.microsoft.com/en-us/library/ff963551.aspx

对于该示例的全码看到

上述的http://parallelpatterns.codeplex.com/SourceControl/changeset/view/54510#795590

两者有关这一主题讨论其他替代的变化。

如果你想自定义调度，以限制并行度请参阅MSDN上

http://msdn.microsoft.com/en-us/library/ee789351.aspx

来源

2012-03-26 19:09:28