为什么随机输入建议随机渐变下降

Question

纠正我，如果我错了？

1）对于批处理梯度下降，目标函数的系数在训练的所有实例结束时更新。例如：如果我有100幅图像需要训练，在训练完第100幅图像之后，将评估成本并更新系数。

2）对于随机梯度下降，对于这100个相同的图像，每个图像训练好后，系数被更新。

问：

对于随机梯度下降，它被要求输入图像的需求，以避免被粘在被随机化。我无法想象这个问题。有人可以帮忙吗？

Answer 1

随机梯度下降根据以前的训练数据进行更新。

因此，我们不得不洗牌我们的训练集防止重复相同的更新。