Tensorflow量化

Question

我想使用Tensorflow的transform_graph工具优化图。我试图优化MultiNet（以及其他编码器 - 解码器架构）的图形。但是，使用quantize_weights时，优化后的图形实际上比较慢，而在使用quantize_nodes时甚至会更慢。从Tensorflow的文档来看，量化时可能没有改进，甚至可能会变慢。任何想法，如果这是正常的图形/软件/硬件下面？

这里是供您参考我的系统信息：

• OS平台及分销：Linux操作系统Ubuntu 16.04
• TensorFlow从安装：使用TF源代码（CPU）的图形转换，使用二进制的Python（ GPU）的推理
• TensorFlow版本：使用两种R1.3
• Python版本：2.7
• 巴泽勒版本：0.6.1
• CUDA/cuDNN版本：8.0/6.0（只推论）
• GPU型号和内存：的GeForce GTX 1080钛

我可以张贴用于重现如果有必要的所有脚本。

Answer 1

似乎Tensorflow中的量化只发生在CPU上。请参阅：https://github.com/tensorflow/tensorflow/issues/2807

Answer 2

我在PC环境中遇到同样的问题。我的模型比不量化慢9倍。

但是，当我将我的量化模型移植到android应用程序中时，它可以加速。

似乎目前只能在CPU上工作，而只能在ARM基础CPU上工作，如android手机。