Tensorflow：tf.gather不适用于大阵列

Question

我遇到了我的numpy阵列，它的大小（29000,200,1024）（7Go）有问题。它是我数据集图像的特征。

一旦加载，我的函数就会收到建立当前批量索引的索引。 不幸的是，使用：

tf.gather(array, indices) 

冻结。虽然打印例如数组[0]立即工作。 我试图改变我的numpy数组与convert_to_tensor，所以我可以直接使用array_tensor（indice）但是再次，convert_to_tensor导致内存限制错误。

任何解决方法？

非常感谢您

Answer 1

直接传递numpy的阵列到TF运建设API将其转换为tf.constant运算包含在OP定义数据，所以你内嵌了整个事情变成GraphDef，受2GB GraphDef限制。

要避免这种情况，请创建var=tf.Variable(my_placeholder)并通过运行var.initializer, feed_dict={my_placeholder: np_array}来初始化此变量。这将numpy数组数据直接放入变量存储中。