多线程问题

Question

我写了一个多线程的爬行程序，该过程只是简单地创建线程并让它们访问要爬行的URL列表。然后他们访问网址并解析html内容。所有这些似乎工作正常。现在，当我需要写入数据库中的表格时，我遇到了问题。我有2个声明的数组列表将包含每个线程解析的内容。第一个arraylist只是rss供稿链接，另一个arraylist包含不同的帖子。 然后，我使用每个循环迭代一个，同时顺序递增另一个并写入数据库。 我的问题是，每次有新线程访问其中一个列表时，内容都会发生变化，这会影响迭代。我试过使用嵌套循环，但它没有工作之前，这工作正常使用单线程。我希望这是有道理的。这里是我的代码：

  SyncLock dlock 
       For Each l As String In links 
        finallinks.Add(l) 
       Next 
      End SyncLock 

       SyncLock dlock 
       For Each p As String In posts 
        finalposts.Add(p) 
       Next 
       End SyncLock 
      ... 
       Dim i As Integer = 0 
      SyncLock dlock 
     For Each rsslink As String In finallinks 
      postlink = finalposts.Item(i) 
      i = i + 1 

finallinks和finalposts是两个arraylist。我不包括代码的其余部分，显示线程工作，但是这是在发生我的错误基本上是在这里

postlink = finalposts.Item(i) 
i = i + 1 
ERROR: index was out of range. Must be non-negative and less than the size of the collection 

是否有其他的重要组成部分？

Answer 1

貌似收集finallinks比finalposts大，这是它

Answer 2

看到，如果一个ProducerConsumer类会为你工作。你的解析线程将是生产者，你的数据库线程将成为消费者。

如果您阅读链接页面并尝试使用代码，则应该能够根据需要进行调整。

Answer 3

我相信有一个名为BlockingContainer的.NET容器或类似的适用于Producer-Consumer-patterns的东西，我假设你在vb.net中工作。

Answer 4

关于他问你问安德烈：

你不能（或更好的，你不应该）访问finallinks和finalposts阅读，并在同一时间写的，所以你需要锁定，因为实例的ArrayList方法对多线程不安全。

所以为了简单起见，您不能在添加项目的同时读取它们以写入数据表。你可以做的是锁定列表，创建它们的克隆以将克隆写入数据表，清除原始列表并解锁它们。这样你有一个列表写入数据库，另一个由线程填写。

我希望这会有所帮助。