使用Parallel.ForEach循环的HtmlAgilityPack中的'System.Net.WebException'

Question

我有一个web scraper，处理大约2,000页，我尝试使用Parallel.ForEach循环加速。我当前的代码（修剪简洁）是：

Parallel.ForEach(dataTable1.AsEnumerable(), row => 
{ 
    scrape(); 
} 
); 

public void scrape() 
{ 
    HtmlWeb htmlWeb = new HtmlWeb(); 
    HtmlAgilityPack.HtmlDocument doc = htmlWeb.Load("http://www.website.com"); 
    doScraping(doc); 
} 

当这种使用普通foreach循环，它的工作。现在，它将处理行的一些号码，然后我开始得到以下异常尝试检索时HTMLDocument：

型“System.Net.WebException”的第一次机会异常出现在System.dll中

类型“System.Net.WebException”的第一次机会异常出现在HtmlAgilityPack.dll

的操作超时

是什么原因导致的超时在并行循环操作时会发生什么？它将通过第一个150-300行，然后每个后续行超时。

Answer 1

我认为这是因为你有限制同时HttpWebRequest连接到站点的最大数量。检查这个.NET设置：ConnectionManagement Element (Network Settings)。

你也可以做到这一点编程：How can I programmatically remove the 2 connection limit in WebClient

它与并行浏览器，因为它使用另一个进程。