1
我正在使用tensorflow tfRecord
来输入我的数据。我发现,当它试图获得匹配给定模式的文件列表,如果的tfRecord
碎片数量超过4,功能tensorflow函数tf.gfile.Glob无法读取包含4个以上文件的文件夹中的文件
tf.gfile.Glob(tf_record_pattern)
总是失败。有一个错误
Error in '/usr/bin/python2.7': double free or corruption (!prev): 0x00000000013d8d20
,当它从失败中退出。我想知道最多可以制作多少个tfRecord
碎片。在任何说明中我没有看到这个上限。对于大数据集ImageNet
,我认为4个碎片应该不够。否则,它是张量流还是python中的错误?这个问题总是发生,我渴望找到答案。
我使用tfRecords太多(超过4个碎片),但我没有看到这种情况发生。不过,我以前看过这个错误。看看[this](https://github.com/tensorflow/tensorflow/issues/6968#issuecomment-279060156)能否帮助你。 – Seven