SyntaxNet处理大量句子，GPU是否提高性能？

Question

我的原始文本中有大量的句子数据集（即〜5.000.000），我想使用已经训练过英语的SyntaxNet进行处理。也就是说，我只是想用SyntaxNet模型来处理句子，我不想训练任何新模型。

使用GPU设置处理环境会对性能产生什么影响？

据我所知，大多数繁重的CPU操作是在估计网络/模型的参数和权重时，一旦估计出来，应用训练好的网络应该比训练快。尽管如此，我从未与Tensorflow合作过，也不知道在将已经训练好的模型应用于数据时是否使用了GPU。

另外，有没有人知道任何简单的方法来设置SyntaxNet作为守护进程或Web服务，以便批处理可以很容易地？

Answer 1

你仍然需要在图上做很多张量操作来预测一些东西。因此，GPU仍然提供了推理的性能改进。看看这个nvidia paper，他们没有测试他们对TF的东西，但它仍然是相关的：

我们的研究结果表明，GPU拥有先进设备，最先进的推论 性能和能效，使他们对于任何想要在现场部署经过训练的神经网络的人来说，选择平台 。特别是，Titan X的性能比16核Xeon E5 CPU高出5.3至6.7倍，同时实现了3.6至4.4 倍的高能效。

关于如何部署模型，看看TF serving