0
通常在我训练好自己的模型之后,我会用同样的GPU去做。TensorFlow推理(服务),CPU是否足够?
但是,如果我想将它作为服务在线提供,我们是否还需要一个GPU实例进行推理?或者一个CPU实例是否足够?
谢谢。
通常在我训练好自己的模型之后,我会用同样的GPU去做。TensorFlow推理(服务),CPU是否足够?
但是,如果我想将它作为服务在线提供,我们是否还需要一个GPU实例进行推理?或者一个CPU实例是否足够?
谢谢。
当您导出模型时,设备将被清除。以下是此功能的单元测试:https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/saved_model/saved_model_test.py#L564
从评论复制:处理大批量GPU时速度很快。在推断单个输入时,CPU足够快。
谢谢!然而,问题在于我们是否仍然需要GPU来推理(而不是训练)。 – Ritchie
如果使用张量流服务,cpu实例应该足够了。 – yuefengz
处理大批量GPU时速度很快。在推断单个输入时,CPU足够快。 – yuefengz