Tensorflow：是否比实时数据预处理更快地对TFRecord文件进行预处理？

Question

在Tensorflow中，似乎预处理可以在培训时间，从原始图像（或数据）创建批次或图像已经是静态时完成。鉴于理论上，预处理应该大致相等的时间（如果他们使用相同的硬件实现），有在训练比训练时做之前数据预处理（甚至数据扩张）任何实际缺点实时？

作为一个侧面的问题，如果在训练期间没有完成数据增强甚至可以在Tensorflow中完成吗？

Answer 1

我一直想知道同样的事情，并对我在培训期间的图像处理性能感到失望。我花了一段时间才意识到图像处理可能会有多大的开销。

我将使自己成为一个很好的脂肪多汁预处理/增强数据文件。一夜之间运行，然后在第二天进来，效率提高两倍！

我正在使用一台GPU机器，对我来说，看起来很明显，逐个模型构建是一条路。但是，如果您有不同的硬件，则工作流程数学可能会有所不同。例如，在我的Macbook-Pro tensorflow上速度很慢（在CPU上）并且图像处理速度很快，因为它是在笔记本电脑的GPU上自动完成的。现在我已经转移到了适当的GPU机器上，张量流速运行速度提高了20倍，图像处理成为瓶颈。

只需计算出您的增强/预处理将花费多长时间，计算出您将多长时间重复使用一次，然后再进行数学计算。