张量流中的非常大的网络

Question

我想在张量流中训练一个神经网络，但是我的权重数组足够大，我正在运行到2GB GraphDef限制。在这种情况下，我最好的办法是什么？

注意：我不是真的使用tensorflow的全部功能（例如我的网络没有优化器）。相反，我只是使用tensorflow作为在GPU上执行一些基本阵列操作的一种方式。

Answer 1

你可能意外地用一个大的常数初始化tf.Variable。见https://github.com/tensorflow/tensorflow/issues/2382

解决方法从GitHub的问题：

init_val = np.array(...) # Construct a large numpy array. 
init_placeholder = tf.placeholder(tf.float32, shape=init_val.shape) 
v = tf.Variable(init_placeholder) 
# ... 
sess.run(v.initializer, feed_dict={init_placeholder: init_val})