TensorFlow交叉熵教程

Question

我刚刚通过TensorFlow教程（https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html#deep-mnist-for-experts）。

我对此两个问题：

1. 为什么它使用cost function with y_ * log(y)？难道不是y_ * log(y) + (1-y_) * log(1-y)？

2. TensorFlow如何计算我使用cost function的gradient？我们不应该在某个地方告诉TensorFlow如何计算gradient？

谢谢！

Answer 1

1. 当y = 1或0，则可以使用Y_ *日志（Y）+（1-Y_）*日志（1-Y），但是当y是一个热编码，Y = [0 1]或[1 0]，我们使用y_ * log（y）。事实上，它们是一样的。

2. 一切都是TensorFlow中的图形，包括您的成本函数。

因此，每个节点都知道它们的操作和局部梯度。 Tensorflow使用反向传播（链式规则）使用图形计算渐变。