Python：读取来自subprocess.communicate（）的流输入

Question

我正在使用Python的subprocess.communicate()从运行大约一分钟的进程读取stdout。

如何以流方式打印出该进程的stdout的每一行，以便我可以在输出生成时看到输出，但在继续之前仍会阻止进程终止？

subprocess.communicate()似乎一次给所有的输出。

Answer 1

请注意，我认为J.F. Sebastian's method (below)更好。

---

下面是一个简单的例子（没有进行错误检查）：

import subprocess 
proc = subprocess.Popen('ls', 
         shell=True, 
         stdout=subprocess.PIPE, 
         ) 
while proc.poll() is None: 
    output = proc.stdout.readline() 
    print output, 

如果ls结束得太快，那么您已经阅读所有的数据之前，while循环可能会结束。

您可以赶上在标准输出余这样说：

output = proc.communicate()[0] 
print output, 

Answer 2

如果你想要一个非阻塞的方法，不要使用process.communicate()。如果将subprocess.Popen()参数stdout设置为PIPE，则可以从process.stdout中读取并检查过程是否仍使用process.poll()运行。

Answer 3

我相信从以流方式的过程收集输出最简单的方法是这样的：

import sys 
from subprocess import * 
proc = Popen('ls', shell=True, stdout=PIPE) 
while True: 
    data = proc.stdout.readline() # Alternatively proc.stdout.read(1024) 
    if len(data) == 0: 
     break 
    sys.stdout.write(data) # sys.stdout.buffer.write(data) on Python 3.x 

的readline()或read()函数应该只在EOF结束后返回一个空字符串，否则它将在没有任何内容需要读取时阻塞（readline()包含换行符，所以在空行上，它返回“\ n”）。这避免了在循环之后需要一个尴尬的最终communicate()调用。

对于具有很长行read()的文件，可能更适合减少最大内存使用量 - 传递给它的数量是任意的，但排除它会导致一次读取整个管道输出，这可能不合需要。

Answer 4

尽快子进程刷新其标准输出缓冲区获得由线子输出线：

#!/usr/bin/env python2 
from subprocess import Popen, PIPE 

p = Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1) 
with p.stdout: 
    for line in iter(p.stdout.readline, b''): 
     print line, 
p.wait() # wait for the subprocess to exit 

iter()来，尽快为他们写要解决the read-ahead bug in Python 2读线。

如果子进程的stdout在非交互模式下使用块缓冲而不是行缓冲（导致输出延迟，直到孩子的缓冲区已满或被孩子明确刷新），那么您可以尝试强制使用pexpect, pty modules或unbuffer, stdbuf, script utilities无缓冲输出，见Q: Why not just use a pipe (popen())?

---

这里的Python 3中的代码：

#!/usr/bin/env python3 
from subprocess import Popen, PIPE 

with Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1, universal_newlines=True) as p: 
    for line in p.stdout: 
     print(line, end='') 

注意：与输出子过程的Python 2字节串原样; Python 3使用文本模式（cmd的输出使用locale.getpreferredencoding(False)编码进行解码）。

Answer 5

如果你只是想通过实时传递输出，很难得到比这更简单：

import subprocess 

# This will raise a CalledProcessError if the program return a nonzero code. 
# You can use call() instead if you don't care about that case. 
subprocess.check_call(['ls', '-l']) 

见docs for subprocess.check_call()。

如果你需要处理它的输出，当然，循环。但如果你不这样做，那就保持简单。

编辑：J.F. Sebastian指出二者，对于输出和错误参数的缺省值通过sys.stdout来和sys.stderr，那如果sys.stdout的和sys.stderr已被替换，这将失败（比如，用于在测试中捕获输出）。

Answer 6

myCommand="ls -l" 
cmd=myCommand.split() 
# "universal newline support" This will cause to interpret \n, \r\n and \r  equally, each as a newline. 
p = subprocess.Popen(cmd, stderr=subprocess.PIPE, universal_newlines=True) 
while True:  
    print(p.stderr.readline().rstrip('\r\n'))