2017-03-07 26 views
0

虽然利用神经网络编写代码时,我们通常使用next_batch功能象下面这样:有明确的next_batch函数吗?

mnist.train.next_batch(batch_size) 

在使用其他方法,如随机森林,支持向量机,贝叶斯网络的情况下, 我们没有使用上面的代码,因为所有的训练数据都一次性放入。 但是,如果我们想要使用神经网络的数据,我们必须做代码next_batch。当然,我知道tensorflow的next_batch函数代码,here, 但是,如果数据难以载入内存,上面的方法将是不正确的。 有很好的定义next_batch函数可能为巨大的数据集?

在此先感谢。

+0

如果您发现我的回答有用,请注意或接受它 – yuval

+0

当然,它的确如此,谢谢。 – semenbari

回答

1

对于无法放入内存的大型数据集,可以使用TensorFlow内置的分布式培训支持。

请参阅TF程序员指南中的reading data章节。具体来说,请阅读批次部分。 关于RNN,还有一个很棒的blog post,第一部分给出了如何使用TF支持进行分布式培训的简短例子。