如何在控制台上显示日志并保存外部日志以进行爬网？

Question

就像标题一样。我使用-s LOG_FILE = mylog.txt来保存外部日志。但我还希望看到蜘蛛正在运行的日志。有没有办法做到这一点？我使用的是Windows 10，并且更喜欢在Windows 10中可以使用的答案。

业余开发人员没有在这里计算背景，所以请在我身上轻松一下。

Answer 1

使用GNU的tee工具：

scrapy crawl myspider 2>1 | tee crawl.log

2>1重定向错误输出到标准输出 - 你想在同一个文件中的错误和信息的可能性最大。
| tee crawl.log输出到tee的管道将其拆分为crawl.log文件和stdout。

有tee实施窗口太：

有Unix的tee命令的一个Win32端口，这正是这么做的。见http://unxutils.sourceforge.net/或http://getgnuwin32.sourceforge.net/

摘自：https://stackoverflow.com/a/796492/3737009