attention-model

0热度

1回答

在keras后端乘以不同形状的矩阵与其他矩阵

我试图实现基于this model 的关注模型，但我希望我的模型不只是看一帧来决定该帧的注意力，我想要一个模型将尝试关注整个序列的帧。所以我在做什么被乘以一序列矢量，这是一个LSTM的输出每个帧（return_sequence =假） 这些是改性的功能： def build(self, input_shape): self.W = self.add_weight((input_shap

deep-learning keras attention-model 2017-04-04

---

-1热度

1回答

添加softmax显着改变重量更新

我有一个形式为N = W1 * Tanh(W2 * I)的神经网络，其中I是输入矢量/矩阵。当我学习这些权重时，输出具有某种形式。然而，当我添加一个标准化层时，例如，N' = Softmax(W1 * Tanh(W2 * I))然而在N'单个元素的输出向量中接近1而其余几乎为零。这种情况不仅在SoftMax（）中，而且在任何标准化层中。有没有解决这个问题的标准方案？

neural-network deep-learning softmax attention-model 2017-10-21

---

2热度

1回答

如何修改Tensorflow Sequence2Sequence模型以实现双向LSTM而不是单向模式？

请参考这个帖子就知道了问题的背景： Does the TensorFlow embedding_attention_seq2seq method implement a bidirectional RNN Encoder by default? 我在同一个模型工作，并希望与双向层，以取代单向LSTM层。我意识到我必须使用static_bidirectional_rnn而不是static_rnn，但

tensorflow nlp lstm sequence-to-sequence attention-model 2017-07-14

---

8热度

1回答

可视化的关注激活Tensorflow

有没有办法想象的一样在上面的链接数字输入的一些注意权重（从Bahdanau等，2014），在TensorFlow的seq2seq模式？我发现TensorFlow's github issue关于这个，但我无法找到如何在会话期间获取注意掩码。

tensorflow deep-learning attention-model sequence-to-sequence 2016-11-15

---

0热度

1回答

训练方法seq2seq模型的选择

您可能会推荐什么样的训练方法来训练基于注意力的序列来排序神经机器翻译模型？ SGD，Adadelta，Adam还是更好的？请给点建议，谢谢。

deep-learning sequence-to-sequence attention-model 2017-04-20

---

2热度

1回答

序列分类的注意机制（seq2seq tensorflow r1.1）

我正在尝试构建一个双向注册机制用于序列分类的RNN。我有一些问题了解帮助功能。我已经看到用于训练的那个需要解码器输入，但是因为我想从整个序列中选择一个标签，所以我不知道我应该在这里给出什么样的输入。这是我迄今构建的结构： # Encoder LSTM cells lstm_fw_cell = rnn.BasicLSTMCell(n_hidden) lstm_bw_cell = rnn.Basi

tensorflow classification sequence recurrent-neural-network attention-model 2017-04-27

---