我可以应用张量计算中的梯度吗？

Question

我想要做的是模拟在一台机器上的不同机器上的反向传播过程，我从第3层d(layer3_output)/d(layer2_output)获得梯度作为numpy数组，我如何能够有效地得到d(layer3_output)/d(layer1_output)给定我接收并通过的梯度到前一层？

Answer 1

当您创建您的网络并附加一些损失时，您可以在优化器上调用最小化，该优化器（引擎盖下）调用“apply_gradients”。此函数为您的图形添加渐变计算操作。您现在要做的就是请求负责您的偏导数的操作员并通过feed_dict选项传递预先计算的偏导数。使用张量板来显示图形并调查您感兴趣的渐变名称。默认情况下，它们将位于“渐变”名称范围中，并且每个操作的命名将类似于您的操作，因此gradient/output_op:0等行中的内容等等。