keras在定义损失函数之后做了什么？

Question

我在theano和keras（theano后端）中都构建了密集的（10）-softmax-crossentropy网络。 我分别转储出计算图。 在theano版本（图1，这种计算图是我的想法。 但在keras版本（图2），似乎损失的定义（crossentropy）。为什么？

后添加的计算请教那些谁了解你在做什么..

Fig.1 Theano version

Fig.2 Keras(backend is Theano) version

Answer 1

在Keras，损失计算，样本权重和损失的权重被应用到丢失后，看到这些线路中的脚本training.py。

• 样品重量：

  score_array = K.mean(score_array, axis=list(range(weight_ndim, ndim))) 
      score_array *= weights 
      score_array /= K.mean(K.cast(K.not_equal(weights, 0), K.floatx())) 
  return K.mean(score_array) 
  

• 失重：

  if total_loss is None: 
      total_loss = loss_weight * output_loss 
  

这是简单的将这些行映射回计算图形。例如，下面的块计算K.mean(K.cast(K.not_equal(weights, 0), K.floatx()))：

• 第一节点计算K.not_equal(weights, 0)
• 第二个节点是K.cast(..., K.floatx())
• 所有其他节点是约K.mean(...)
  • 左支计算批量大小（调用shape，并获得维度0从它）
  • 右分支由左支路的输出计算张量总和
  • 鸿沟右侧分支的输出
• 该块的最终输出是标量K.mean(K.cast(K.not_equal(weights, 0), K.floatx()))