Python分割文本文件

Question

我会在当前需要大量时间的文本文件上做一些处理。我从活动监视器观察到，当前应用程序只使用1个线程，因此我决定将文件拆分为multiprocessing.cpu_count（）相同的文件，并分别在它们中执行相同的过程。

我的代码如下：

with open(filename) as f: 
    "do the process" 

我想改变这个：

with open(filename) as f: 
    files = f.splitinto(cpu_count) 
    for file in files: 
     "start the threads to do the same process for each file" 

Answer 1

file.readlines()为您提供了文本文件列表的线条。这意味着如果你有一个100行的文本文件，readlines()会给你一个长度为100的list--其中每个项目是你文件中的一行。继此之后，您可以执行以下操作：

with open('test.txt', 'r') as myfile: 
    lines = myfile.readlines() 
    lines_list[0] = lines[0:len(lines)/cpu_count) 
    # ... and so on.. 

之后，您可以分行并处理它们，无论您希望如何。