LSTM神经网络中的损失函数

Question

我不明白在这些网络中最小化的是什么。 当LSTM网络中的损失变小时，有人能解释一下数学上的情况吗？

model.compile(loss='categorical_crossentropy', optimizer='adam') 

Answer 1

从keras documentation，categorical_crossentropy只是多类logloss。对数损失的数学和理论解释here。

基本上，LSTM将标签分配给单词（或字符，取决于您的模型），并通过惩罚单词（或字符）序列中不正确的标签来优化模型。该模型需要输入单词或字符矢量，并根据训练样例尝试猜测下一个“最佳”单词。分类交叉熵是衡量猜测有多好的量化方法。当模型遍历训练集时，在猜测下一个最佳单词（或字符）时会减少错误。