2013-03-14 200 views
1

任何人都会遇到请求和使用Chunked数据编码的HTTP流。Python请求库 - Chunked数据和iter_lines

我想知道,如果请求本质上知道服务器提供的块大小,并在requests.iter_lines()中使用它作为块大小。我发现如果我减少默认块大小,它处理速度更快,但是与服务器发回的内容是否有任何关联,并且我不应该在设置它的时候瞎搞。请注意,我正在实时使用DataSift的社交数据馈送,并最终将它们拍摄到标准输出。

代码是:

#!/usr/bin/env python 

import requests 
import json 


headers={'Auth': 'username:api_key'} 
r = requests.get('http://stream.datasift.com/988098098sd09fsd89fsd0f7',headers=headers, stream=True) 

for line in r.iter_lines(chunk_size=128): 
    if line: 
     print line 

回答

2

在源代码(models.py线53131)寻找,512预配置的值是一个简单的 “理智默认”。