对训练神经网络中的批次数据进行混洗

我有6.5 GB的训练数据用于我的GRU网络。我打算分开训练时间，即暂停和恢复训练，因为我使用笔记本电脑。我假设需要几天时间来训练我的神经网络使用整个6.5 GB，所以，我会暂停训练，然后在其他时间再次恢复。对训练神经网络中的批次数据进行混洗

这是我的问题。如果我将洗牌批次的训练数据，神经网络会记住哪些数据已经用于训练或不用？

请注意，我使用tf.train.Saver().save的global_step参数。

非常感谢您提前！

来源

2017-07-31 Abien Fred Agarap

我建议你在某个时代保存你的模型，假设你有80个时代，在每个20个地方保存你的模型是明智的（20,40,60），但这又取决于你的笔记本电脑，原因是在一个时代，你的网络会看到所有的数据集（训练集）。如果你的整个数据集不能在一个时期处理，我建议你从整个数据集中随机抽样将是训练集。整理的重点是让网络对整个数据集进行一些推广，通常在批处理或选择训练数据集上完成，或者开始一个新的训练时期。至于你的主要问题，它的在培训和恢复时可以随意洗牌。冲洗批次确保梯度是沿批次而不是一个图像计算的

来源

2017-08-01 03:03:42 Eliethesaiyan

谢谢你的回应。顺便说一句，我要训练一个循环神经网络来对一个序列进行分类，而不是CNN来对图像进行分类。它也适用，正确吗？ –

对rnn不确定，但我认为如果数据涉及任何顺序，那么definetly其洗牌是不行的，这里有关它的另一个有趣的讨论https://stats.stackexchange.com/questions/40638/predicting-time-series -with-NNS-应该-的数据集待洗牌 – Eliethesaiyan

对训练神经网络中的批次数据进行混洗

回答

相关问题