TensorFlow - GPU加速只用于培训？

Question

利用TensorFlow的GPU加速技术可以提高模型训练的速度，还可以在数据模型上提高速度。
大多数指南仅讨论如何将GPU加速用于培训目的。

它也可以与任何TensorFlow Models？即使那些通过shell脚本运行？
另外，它会默认运行在shell脚本上还是需要显式编码才能使其工作。

Answer 1

它适用于两者，是的，即使在没有训练的情况下也应该更快地使用模型（除非模型非常简单，并且将其放置在GPU上的开销超过了性能成本）。我确实认为使用GPU对于评估模型来说不是那么必要。在经常训练数据时，将数据组合在一起，以便每个训练步骤包含模型的多次运行。此外，需要计算的梯度需要大量的计算时间和内存。训练期间还需要更新权重。因此，简单地向前传球要快得多。我真的认为如果你需要立刻制作一大堆前锋传球，你会看到一个好处。

至于通过shell脚本运行tensorflow模型，我会假设他们是否在GPU上训练，他们也会在GPU上运行。