Python日志记录从多个进程重定向标准输出

我想捕获多个进程的stderr和stdout，并使用python日志记录模块将其输出写入日志文件。下面的代码似乎实现了这一点。目前，如果有任何数据，我会轮询每个进程的stdout并写入记录器。有没有更好的方式来做到这一点。Python日志记录从多个进程重定向标准输出

此外，我还想拥有所有单个进程活动的主日志，换句话说，我想自动（不用轮询）将每个进程的所有stdout/stderr写入主日志记录器。这可能吗？

感谢

class MyProcess: 
def __init__(self, process_name , param): 
    self.param = param 
    self.logfile = logs_dir + "Display_" + str(param) + ".log" 
    self.args = [process_name, str(param)] 
    self.logger_name = process_name + str(param) 
    self.start() 
    self.logger = self.initLogger() 

def start(self): 
    self.process = Popen(self.args, bufsize=1, stdout=PIPE, stderr=STDOUT) #line buffered 
    # make each processes stdout non-blocking 
    fd = self.process.stdout 
    fl = fcntl.fcntl(fd, fcntl.F_GETFL) 
    fcntl.fcntl(fd, fcntl.F_SETFL, fl | os.O_NONBLOCK) 

def initLogger(self): 
    f = logging.Formatter("%(levelname)s -%(name)s - %(asctime)s - %(message)s") 
    fh = logging.handlers.RotatingFileHandler(self.logfile, maxBytes=max_log_file_size, backupCount = 10) 
    fh.setFormatter(f) 

    logger = logging.getLogger(self.logger_name) 
    logger.setLevel(logging.DEBUG) 
    logger.addHandler(fh) #file handler 
    return logger 

def getOutput(self): #non blocking read of stdout 
    try: 
     return self.process.stdout.readline() 
    except: 
     pass 

def writeLog(self): 
    line = self.getOutput() 
    if line: 
     self.logger.debug(line.strip()) 
     #print line.strip() 



process_name = 'my_prog' 
num_processes = 10 
processes=[] 

for param in range(num_processes) 
    processes.append(MyProcess(process_name,param)) 

while(1): 
    for p in processes: 
     p.writeLog() 

    sleep(0.001)

来源

2010-12-02 mikip

你这里的选项

非阻塞I/O：这是你做了什么:)
的select module：您可以使用poll()或select()为不同的输入分配读取。
主题：为要监视的每个文件描述符创建一个线程，并使用阻塞I/O。不建议大量的文件描述符，但至少它适用于Windows。
第三方库：显然，你也可以使用Twisted或pyevent异步文件访问，但我从来没有说......

欲了解更多信息，请观看此video on non-blocking I/O with Python

由于您的方法似乎有效，如果施加的处理器负载不会影响您，我会坚持下去。如果是这样，我会在Unix上使用select.select()。

至于你关于主记录器的问题：因为你想开发单个输出，你不能将所有东西都重定向到主记录器。您必须手动执行此操作。

来源

2010-12-02 14:31:12

Python日志记录从多个进程重定向标准输出

回答

相关问题