处理SIGPIPE错误

以下snakemake脚本：处理SIGPIPE错误

rule all: 
    input: 
     'test.done' 

rule pipe: 
    output: 
     'test.done' 
    shell: 
     """ 
     seq 1 10000 | head > test.done 
     """

失败，出现以下错误：

snakemake -s test.snake 

Provided cores: 1 
Rules claiming more threads will be scaled down. 
Job counts: 
    count jobs 
    1 all 
    1 pipe 
    2 

rule pipe: 
    output: test.done 
    jobid: 1 

Error in job pipe while creating output file test.done. 
RuleException: 
CalledProcessError in line 9 of /Users/db291g/Tritume/test.snake: 
Command ' 
     seq 1 10000 | head > test.done 
     ' returned non-zero exit status 141. 
    File "/Users/db291g/Tritume/test.snake", line 9, in __rule_pipe 
    File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/concurrent/futures/thread.py", line 55, in run 
Removing output files of failed job pipe since they might be corrupted: 
test.done 
Will exit after finishing currently running jobs. 
Exiting because a job execution failed. Look above for error message

返回非零退出状态141似乎是说，snakemake有解释抓到了由head发送的SIGPIPE失败。我想严格来说，snakemake在捕捉失败方面做得正确，但我想知道是否可以忽略像这样的一些类型的错误。我有一个使用head命令的snakemake脚本，我试图找到解决这个错误的方法。

来源

2017-10-04 dariober

是的，Snakemake在默认情况下会设置pipefail，因为在大多数情况下，这是人们隐含期望的。您可以通过预先设置'set + o pipefail; '给shell命令。 –

谢谢！如果您将其作为答案发布，我会接受它。 – dariober

是的，Snakemake在默认情况下会设置pipefail，因为在大多数情况下，这是人们隐含的期望。您可以通过预先将set +o pipefail;添加到shell命令来禁用特定命令。

来源

2017-10-07 15:27:43

谢谢。也许只是一个警告的提示......应该小心使用'set + o pipefail'，因为它会使得一个破碎的命令像这样'seq 1 10000 | FooBar | head> {output}' – dariober

确切地说，这就是为什么Snakemake默认启用pipefail的原因。 –

以某种方式笨重的解决方案是将|| true附加到脚本。这将使命令始终彻底退出，这是不可接受的。检查脚本是否实际succeded可以查询数组变量${PIPESTATUS[@]}，以确保它包含预期的退出代码：

这个脚本是确定的：

seq 1 10000 | head | grep 1 > test.done || true 
echo ${PIPESTATUS[@]} 
141 0 0

这是不正常：

seq 1 10000 | head | FOOBAR > test.done || true 
echo ${PIPESTATUS[@]} 
0

来源

2017-10-05 08:28:35 dariober

处理SIGPIPE错误

回答

相关问题