阅读格式与换行无关的非常大的文件

Question

我的Python代码支持以其他人创建的文件格式读写数据，文件格式为BLT format。 BLT格式是白色空间和独立的换行符，因为新行被视为与其他空白空间一样。此格式的主要入口是一个“投票”，它以“0”结尾，例如，

1 2 3 0 

由于格式是独立于换行，也可以写成

1 2 
3 0 

或者你可以在一条线上有多个选票：

1 2 3 0 4 5 6 0 

这些文件可能非常大，因此我不想将整个文件读入内存。由于数据不是基于行的，因此基于行的读取很复杂。以有效利用内存的方式处理这些文件的好方法是什么？

Answer 1

对我来说，解决这个问题最直接的方法就是使用发电机。

def tokens(filename): 
    with open(filename) as infile: 
     for line in infile: 
      for item in line.split(): 
       yield int(item) 

def ballots(tokens): 
    ballot = [] 
    for t in tokens: 
     if t: 
      ballot.append(t) 
     else: 
      yield ballot 
      ballot = [] 

t = tokens("datafile.txt") 

for b in ballots(t): 
    print b 

我看@katrielalex发布了一个发电机使用解决方案，当我发布我的。我们之间的区别在于，我使用了两个独立的生成器，一个用于文件中的单个令牌，另一个用于您希望解析的特定数据结构。前者作为参数传递给后者，其基本思想是可以为要分析的每个数据结构编写一个函数，如ballots()。您可以对发生器产生的所有内容进行迭代，或者在任一发生器上调用next()以获取下一个标记或选票（当您用完时为StopIteration例外做准备，或者写入发生器以生成标记值，例如None他们用完了真实的数据，并检查它）。

将整个事物包装在一个类中是非常简单的。其实...

class Parser(object): 

    def __init__(self, filename): 

     def tokens(filename): 
      with open(filename) as infile: 
       for line in infile: 
        for item in line.split(): 
         yield int(item) 

     self.tokens = tokens(filename) 

    def ballots(self): 
     ballot = [] 
     for t in self.tokens: 
      if t: 
       ballot.append(t) 
      else: 
       yield ballot 
       ballot = [] 

p = Parser("datafile.txt") 

for b in p.ballots(): 
    print b 

Answer 2

使用generator：

>>> def ballots(f): 
...  ballots = [] 
...  for line in f: 
...    for token in line.split(): 
...      if token == '0': 
...        yield ballots 
...        ballots = [] 
...      else: 
...        ballots.append(token) 

这将逐行读取文件中的行，分裂的所有空白，并通过一个附加线中的某个令牌到列表中。每当达到零时，该选票就是yield ed，并且列表重置为空。