我的模型是不适合的，张量流？

Question

我的损失在少数时代首先下降，但随后开始增加，然后增加到某一点，然后停止移动。我认为现在它已经趋于一致。现在，我们可以说我的模型不适合吗？因为我的解释是（幻灯片93 link），如果我的损失正在下降，然后增加，这意味着我有很高的学习速度，并且在每隔两个时代我就会衰减，所以在几个时代损失停止增加后，因为学习率很低现在，因为我的学习速度还在下降，所以现在损失应该再次下降，根据幻灯片93，因为学习率很低，但事实并非如此。我们可以说损失不会进一步下降，因为我的模型不合适？

Answer 1

因此，要总结，在训练数据丢失：

• 第一下楼
• 然后再次上升
• 然后将其保持在同一水平
• 然后学习率
• 并且损失不再回落（仍然保持与衰减的学习率相同）

对我来说，听起来好像最初的学习率太高了，之后它就陷入了局部最低点。在这一点上衰减学习率，一旦它已经陷入局部最低点，就不会帮助它逃脱这个最低限度。将初始学习率设置为较低的值更有可能是有益的，这样您就不会以最初的“糟糕的”本地最小值为结果。

您的模型现在可能不足并且模型更复杂（例如隐藏层中的更多节点）会有所帮助。但情况并非如此。

您是否使用任何技术来避免过度配合？例如，正规化和/或辍学？如果是这样，那么您的模型最初也可能是过度拟合（当损失正在下降时，在它再次恢复之前）。为了更好地了解发生了什么事情，不仅要绘制您在训练数据上的损失，而且还要验证验证集的损失将是有益的。如果训练数据的损失大大低于验证数据的损失，那么您就知道这是过度拟合。