tf.train.GradientDescentOptimizer是否为香草GradientDescent？

Question

是tf.train.GradientDescentOptimizer香草渐变下降？即不是SGD，所以它相当于在numpy中实现的渐变更新。

Answer 1

是的，这是香草梯度下降。你不能说它不是SGD。因为这取决于你在训练单个时代时考虑的例子数量。

这意味着如果您只为一个时期使用一个小批量（理想情况下是一个单一实例，但最小批量也行）数据，我们称之为SGD。

在功能上它应该相当于numpy的实现。