如何在不再需要时释放张量？

Question

我有具有一系列计算如下假想曲线图：

a_0 = tf.placeholder() 
a_1 = some_op_1(a_0) 
a_2 = some_op_2(a_1) 
a_3 = some_op_3(a_2) 

观察到计算a_3时; a_0和a_1不需要，因此可以在为a_3分配内存之前丢弃它们。有什么办法可以要求TensorFlow执行这种内存优化（同意有一些时间成本）？

请注意，这与this有关仅在需要时分配内存的问题不一样。

编辑：这个网络不会被训练，所以不要担心backprop。

Answer 1

TensorFlow使用引用计数来释放张量不再使用时所用的内存。 a_0和a_1的值将在没有更多引用时立即删除，并且在TensorFlow的最新版本（1.0版后夜版本）中，如果某些操作具有相同的输入缓冲区形状和元素类型。