α-LMS算法回退问题

Question

我使用α-LMS算法为MNIST数据集制作分类器。

我只更新权重时预测的输出不匹配所需的输出和这里是如何的权重更新：

我期望的残差下去（和准确性上去）每次迭代（不应该？）。

尽管总体精度似乎上升，但在某些迭代中，算法会恢复原状。

我需要知道，如果它是正常的挫折在这个算法发生，如果是为什么？

Answer 1

如果数据可以用公式表示，找到该公式将是可行的。 当需要算法（无公式）时，收敛速度和精确度强烈依赖于数据。如果您能够使用多个数据集，您将看到不同的图形。