如果我没有为tensorflow中的op提供梯度，梯度下降如何工作？

Question

当添加新的运算，文档（https://www.tensorflow.org/versions/r0.10/how_tos/adding_an_op/index.html）表示：

任选地，编写一个函数来计算用于运算梯度。

由于这是可选的，如果我不写它，梯度下降如何计算梯度？它是否使用数值方法？如果是这样，什么？这会更慢吗？

Answer 1

取决于操作。如果操作由其他原语组成，则梯度下降能够产生自动微分功能。

如果您的操作是新基元，那么您必须提供梯度函数或梯度下降不起作用。

Tensorflow中的梯度实现是精确的函数。数值方法仅用于测试梯度函数实现。