如何充分调整Tensorflow中的大规模tfrecord数据？

Question

假设我们获得了20万张标记为'1'的图片，另外20万张标记为'0'的图片依次转换为张量流记录。我试图用tf.train.shuffle_batch()来洗牌。问题是如果没有一个巨大的min_after_dequeue，我无法充分洗牌数据，但它会因内存不足而产生太大的问题。有没有解决方案？

谢谢！

Answer 1

我会建议使用tf.data.Dataset（https://www.tensorflow.org/versions/r1.4/api_docs/python/tf/data/Dataset）为了这个目的，借力shuffle转型，也是interleave变换（假设你希望将“1”和“0”的标签混合）。