的Python开始从doulbe所有线程LOOP

Question

我有这样的场景：

threads = [] 
for wordToScan in wordsList: 
    dictionaryFileOpen = open(dictionaryFile, "r") 

    for i in range(10): 
     threads.append(Thread(target=words_Scan_Start, args=(dictionaryFileOpen, wordToScan))) 

for thread in threads: 
    thread.start() 
for thread in threads: 
    thread.join() 

def words_Scan_Start(dictionaryFile, wordToScan): 
    while True: 
     sub_word = dictionaryFile.readline() 
     if not sub_word: 
      break 
     #... Here is some actions. 

现在我需要一次启动所有这些线程（每10个线程，每wordToScan in wordsList）。

每wordToScan in wordsList:应在10个线程，但没有移动.readline()为其他wordToScan in wordsList:，在同时工作使用dictionaryFileOpen。另外，我不明白在哪里关闭dictionaryFileOpen。

Answer 1

这里是我已经完成它：

threads = [] 
for wordToScan in wordsList: 
    wordThread = [] 
    dictionaryFileOpen = open(dictionaryFile, "r") 

    for i in range(10): 
     wordThread.append(Thread(target=words_Scan_Start, args=(dictionaryFileOpen, wordToScan))) 
    threads.append(wordThread) 

for thread in threads: 
    for wordThread in thread: 
     wordThread.start() 
for thread in threads: 
    for wordThread in thread: 
     wordThread.join() 
    dictionaryFileOpen.close() 

def words_Scan_Start(dictionaryFile, wordToScan): 
    while True: 
     sub_word = dictionaryFile.readline() 
     if not sub_word: 
      break 
     #... Here is some actions. 

我这样做对吗？

Answer 2

您不应该从多个线程读取文件。这涉及以下注意事项：

1. 从多个线程访问的对象必须是线程安全的。文件不是线程安全的。所以你必须保护你所有使用互斥锁的地方。
2. 从磁盘读取是一个相当缓慢的过程。单个线程可以很好地处理它。
3. 线性读取比随机读取快得多。所以从单个线程读取它是有效的。

所以一般的方法是从一个线程读取文件，然后为其他线程分派处理分支。如果你可以在一个线程中完成工作，那么最好这样做，因为它更简单。只有在真正需要它们时，才可以制作多线程应用程序。