在Google App Engine上用python上传和解析csv文件

Question

我从GAE的表单上传了一个csv/tsv文件，我尝试用python csv模块解析文件。

Like describe here，上传的GAE文件是字符串。
所以我把我的上传串一个类文件对象：

file = self.request.get('catalog') 
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab) 

但在我的文件的新线不一定“\ n”（感谢练成..），并产生一个错误：
错误：在未加引号的字段中显示换行符 - 是否需要以通用换行符模式打开文件？

有谁知道如何使用StringIO.StringIO来处理像在universal-newline中打开的文件字符串？

Answer 1

如何：

file = self.request.get('catalog') 
file = '\n'.join(file.splitlines()) 
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab) 

或在评论中指出，csv.reader()支持输入从列表中，那么：

file = self.request.get('catalog') 
catalog = csv.reader(file.splitlines(),dialect=csv.excel_tab) 

在未来 request.get支持

，或者阅读模式：

file = self.request.get('catalog', 'rU') 
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab) 

Answer 2

解决方案描述here应该工作。通过定义一个迭代器类，如下所示，它一次加载blob 1MB，使用.splitlines（）分割线，然后每次向CSV阅读器提供一行，可以处理换行符而无需加载整个文件进入记忆。

class BlobIterator: 
    """Because the python csv module doesn't like strange newline chars and 
    the google blob reader cannot be told to open in universal mode, then 
    we need to read blocks of the blob and 'fix' the newlines as we go""" 

    def __init__(self, blob_reader): 
     self.blob_reader = blob_reader 
     self.last_line = "" 
     self.line_num = 0 
     self.lines = [] 
     self.buffer = None 

    def __iter__(self): 
     return self 

    def next(self): 
     if not self.buffer or len(self.lines) == self.line_num + 1: 
      self.buffer = self.blob_reader.read(1048576) # 1MB buffer 
      self.lines = self.buffer.splitlines() 
      self.line_num = 0 

      # Handle special case where our block just happens to end on a new line 
      if self.buffer[-1:] == "\n" or self.buffer[-1:] == "\r": 
       self.lines.append("") 

     if not self.buffer: 
      raise StopIteration 

     if self.line_num == 0 and len(self.last_line) > 0: 
      result = self.last_line + self.lines[self.line_num] + "\n" 
     else: 
      result = self.lines[self.line_num] + "\n" 

     self.last_line = self.lines[self.line_num + 1] 
     self.line_num += 1 

     return result 

然后调用这个像这样：

blob_reader = blobstore.BlobReader(blob_key) 
blob_iterator = BlobIterator(blob_reader) 
reader = csv.reader(blob_iterator)