Tensorflow Dataset.from_tensor_slices时间太长

Question

我有以下代码：

data = np.load("data.npy") 
print(data) # Makes sure the array gets loaded in memory 
dataset = tf.contrib.data.Dataset.from_tensor_slices((data)) 

文件"data.npy"为3.3 GB。用numpy读取文件需要几秒钟，但是接下来创建tensorflow数据集对象的那一行需要很长时间才能执行。这是为什么？它在底下做了什么？

Answer 1

引用此answer：

一个npz的np.load只返回一个文件加载器，而不是实际的数据。这是一个'懒惰的加载程序'，只有在访问时加载特定的数组。

这就是为什么它很快。

编辑1：扩大多一点这样的回答，从tensorflow's documentation另一句名言：

如果所有输入数据存放在内存中，最简单的方法来创建他们Dataset是转换他们到tf.Tensor对象并使用Dataset.from_tensor_slices()。

这适用于小数据集，但浪费内存---因为数组内容将被复制多次---并可能运行到tf.GraphDef协议缓冲区的2GB限制。

该链接还显示如何有效地做到这一点。