验证准确性总是可以和训练准确度一样高吗？

Question

我有一个非常小的数据集（40个训练样例，10个验证示例，120个类），我在Keras（蝙蝠技术，变平和致密层）中使用非常简单的模型获得非常高的精度。

我的培训准确率为94-95％，验证准确率为76-78％。我知道这是过度配合，我已经尝试了一些东西。数据不是图像，所以我不能增加数据。我也不能添加数据，因为它是一个特定的类型。我使用了0.5级别的两个dropout层，并且架构非常简单，所以我不认为我可以减少架构的复杂性。如果有人喜欢，我可以粘贴模型。

我的问题是：有没有验证准确度不能像培训准确度那么高的情况？是否有基于数据集大小的限制？还是总是有可能使验证准确性与训练精度相匹配，而网络只需要正确的参数？

非常感谢你

Answer 1

这肯定是过度配合。

过拟合不仅仅是因为“太强大的模型”，而且还有很多，因为没有足够的数据，我相信这是你的情况。

40个120级示例？这听起来很像很多数据丢失。