必须在每个纪元后增加精度吗？

Question

当使用批量训练神经网络时，是否应该在每个时间点（在看到整个数据一段时间后）后增加精度（训练和验证）？

我希望能够快速判断网络设置（学习率，节点数量等）是否合理。似乎有必要看到整个数据集越多，性能应该越好。因此，如果性能在一个时代下降，我是否应该担心有什么不对（高学习率，高偏差）？ （或者我总是要等几个时代才能判断？）

Answer 1

我会说它取决于数据集和体系结构。因此，波动是正常的，但总的来说损失应该会有所改善。你可以看看这些实用的指南，以更好地诠释损耗曲线：

http://cs231n.github.io/neural-networks-3/#loss

https://blog.slavv.com/37-reasons-why-your-neural-network-is-not-working-4020854bd607

Answer 2

是的，在一个完美的世界中人们所期望的测试精度提高。如果测试精度开始下降，可能是您的网络过度配合。您可能希望在达到这一点之前停止学习，或采取其他措施来解决过度问题。

此外，它可能是测试数据集中的噪声结果，即错误标记的示例。