在解析文件时比解析Python的速度更慢

我曾希望使用Rust来加速当前用Python编写的一些文本处理脚本。在解析文件时比解析Python的速度更慢

为了测试这两种语言的表现，我决定测试他们在一个非常简单的任务：通过线从STDIN

读取一个文件，一行。
如果行以>开头，请将该行保存为headers.txt文件。
否则，将行保存到sequences.txt文件。

对于这个测试，我使用了10万线FASTA文件，如下所示：

$ head uniparc_active-head.fasta 
>UPI0000000001 status=active 
MGAAASIQTTVNTLSERISSKLEQEANASAQTKCDIEIGNFYIRQNHGCNLTVKNMCSAD 
ADAQLDAVLSAATETYSGLTPEQKAYVPAMFTAALNIQTSVNTVVRDFENYVKQTCNSSA 
VVDNKLKIQNVIIDECYGAPGSPTNLEFINTGSSKGNCAIKALMQLTTKATTQIAPKQVA 
GTGVQFYMIVIGVIILAALFMYYAKRMLFTSTNDKIKLILANKENVHWTTYMDTFFRTSP 
MVIATTDMQN 
>UPI0000000002 status=active 
MMTPENDEEQTSVFSATVYGDKIQGKNKRKRVIGLCIRISMVISLLSMITMSAFLIVRLN 
QCMSANEAAITDAAVAVAAASSTHRKVASSTTQYDHKESCNGLYYQGSCYILHSDYQLFS 
DAKANCTAESSTLPNKSDVLITWLIDYVEDTWGSDGNPITKTTSDYQDSDVSQEVRKYFC

这里是我的Python脚本：

import fileinput 

with open('headers.txt', 'w') as hof, \ 
     open('sequences.txt', 'w') as sof: 
    for line in fileinput.input(): 
     if line[0] == '>': 
      hof.write(line) 
     else: 
      sof.write(line)

和我的锈脚本（我在cargo build --release编译）：

use std::io; 
use std::fs::File; 
use std::io::Write; 
use std::io::BufRead; 

fn main() { 
    let stdin = io::stdin(); 
    let mut headers = File::create("headers.txt").unwrap(); 
    let mut sequences = File::create("sequences.txt").unwrap(); 

    for line in stdin.lock().lines() { 
     let line = line.unwrap(); 
     match &line[..1] { 
      ">" => writeln!(headers, "{}", line).unwrap(), 
      _ => writeln!(sequences, "{}", line).unwrap(), 
     } 
    } 
}

个运行一些基准：

的Python 2.7

$ time bash -c 'cat uniparc_active-head.fasta | python2 src/main.py' 
real 0m11.704s 
user 0m6.996s 
sys  0m1.100s

的Python 3.5

$ time bash -c 'cat uniparc_active-head.fasta | python3 src/main.py' 
real 0m16.788s 
user 0m12.508s 
sys  0m1.576s

PyPy 5.3.1

$ time bash -c 'cat uniparc_active-head.fasta | pypy src/main.py' 
real 0m6.526s 
user 0m1.536s 
sys  0m0.884s

锈1.14.0

$ cargo build --release 
$ time bash -c 'cat uniparc_active-head.fasta | target/release/parse_text' 
real 0m17.493s 
user 0m2.728s 
sys  0m15.408s

So Rust比PyPy慢3倍，甚至比Python 3慢。

任何人都可以对此有所了解吗？我在Rust代码中犯了错误吗？如果没有，我应该坚持Python/PyPy来处理文本文件，还是有另一种语言对工作更好？

来源

2016-12-30 ostrokach

奇怪的是，我偶然发现一个类似的情况就在几天前 - 我重写了Julia中的文本解析器，原始Python版本速度提高了3倍。 – TigerhawkT3

您的Rust程序未使用缓冲作家。尝试用'io :: BufWriter :: new（File :: create（...）。unwrap（））'替换你的'File :: create（...）。unwrap（）'调用。 – BurntSushi5

@ BurntSushi5哟，谢谢！我有一种感觉，我错过了一些基本的东西。 – ostrokach

至于建议由@ BurntSushi5，与

let mut headers = io::BufWriter::new(File::create("headers.txt").unwrap()); 
let mut sequences = io::BufWriter::new(File::create("sequences.txt").unwrap());

更换

let mut headers = File::create("headers.txt").unwrap(); 
let mut sequences = File::create("sequences.txt").unwrap();

带来的速度达到我的预期：

$ time bash -c 'cat uniparc_active-head.fasta | target/release/parse_text' 
real 0m5.645s 
user 0m1.396s 
sys  0m0.804s

来源

2016-12-30 04:18:47 ostrokach

在解析文件时比解析Python的速度更慢

回答

相关问题