张量流中的LSTM重复性重量的压降

Question

Tensorflow的DropoutWrapper允许将压差应用于单元的输入，输出或状态。然而，我还没有看到选择对细胞的经常权重（原始LSTM公式中使用的8种不同矩阵中的4种）做同样的事情。我只想在执行我自己的Wrapper之前检查是否属于这种情况，我相信这会非常简单。

Answer 1

这是因为原来的LSTM模型只对输入和输出层适用差（只对非经常性层。）本文认为是描述了辍学的LSTM一个“教科书”：https://arxiv.org/pdf/1409.2329.pdf

最近有些人也尝试在复发层中使用辍学。如果你想看看背后的实现和数学运算，请查找Yarin Gal的“理论基础上的回归神经网络中丢失的应用”。我不确定Tensorflow或Keras是否已经实施了这种方法。