TensorFlow RNN培训100％的CPU，而只使用60％的GPU

Question

我正在研究训练相对较大的RNN（128单元LSTM和一些添加图层）的代码。主要过程是在CPU上充满核心，我想知道这是否正常或我是否可以优化它。在训练循环（session.run调用）期间，它使用大约60-70％的GPU负载，同时在一个内核上使用100％的CPU负载。请注意，数据采样工作已在其他内核上同时完成，因此它只是更新了模型参数。这对于TensorFlow中的这些应用程序来说是否正常，或者在使用GPU的全部容量时，CPU负载是否要低得多？

Answer 1

我们没有关于它的完整文档，但你可以在分析信息来看看，看看它给你更多，其中时间是要的一个想法： https://github.com/tensorflow/tensorflow/issues/1824#issuecomment-225754659

Answer 2

我想RNN单元有两个输入，当训练数据时它必须等待那两个方向输入，换句话说，它优化并行性并不像CNN那么容易。您可以使用大批量来提高GPU利用率，但也许会导致其他问题，如纸张关于深度学习的大批量培训：泛化差距和夏普极小值。