多层编码器的输出状态，以多层解码器Seq2Seq模型TF 1.0

Tensorflow 1.0版多层编码器的输出状态，以多层解码器Seq2Seq模型TF 1.0

我的问题是，什么尺寸encoder_state说法确实tf.contrib.seq2seq attention_decoder_fn_train预期。

它可以采取多层编码器状态输出吗？

语境：

我想在tensorflow 1.0创建基于多层双向关注seq2seq。

我的编码器：

cell = LSTM(n) 
cell = MultiRnnCell([cell]*4) 
((encoder_fw_outputs,encoder_bw_outputs), 
(encoder_fw_state,encoder_bw_state)) = (tf.nn.bidirectional_dynamic_rnn(cell_fw=cell, cell_bw = cell....)

现在，mutilayered双向编码器返回编码器cell_states[c]hidden_states[h]和对于每个层，并且还用于向后和向前通。我串连的直传和复路各州通过它来encoder_state：

self.encoder_state = tf.concat((encoder_fw_state, encoder_bw_state), -1)

而且我通过这我的解码器：

decoder_fn_train = seq2seq.simple_decoder_fn_train(encoder_state=self.encoder_state) 
(self.decoder_outputs_train, 
self.decoder_state_train, 
self.decoder_context_state_train) = seq2seq.dynamic_rnn_decoder(cell=decoder_cell,...)

但它给以下错误：

ValueError: The two structures don't have the same number of elements. First structure: Tensor("BidirectionalEncoder/transpose:0", shape=(?, 2, 2, 20), dtype=float32), second structure: (LSTMStateTuple(c=20, h=20), LSTMStateTuple(c=20, h=20)).

我的decoder_cell也是多层的。

Link to my code

1：

来源

2017-06-12 random_28

，我发现我的执行问题。所以张贴在这里。问题是w.r.t.连接encoder_fw_state和encoder_bw_state。正确的做法如下：

self.encoder_state = [] 

    for i in range(self.num_layers): 
     if isinstance(encoder_fw_state[i], LSTMStateTuple): 

      encoder_state_c = tf.concat((encoder_fw_state[i].c, encoder_bw_state[i].c), 1, name='bidirectional_concat_c') 
      encoder_state_h = tf.concat((encoder_fw_state[i].h, encoder_bw_state[i].h), 1, name='bidirectional_concat_h') 
      encoder_state = LSTMStateTuple(c=encoder_state_c, h=encoder_state_h) 
     elif isinstance(encoder_fw_state[i], tf.Tensor): 
      encoder_state = tf.concat((encoder_fw_state[i], encoder_bw_state[i]), 1, name='bidirectional_concat') 
     self.encoder_state.append(encoder_state) 

    self.encoder_state = tuple(self.encoder_state)

来源

2017-06-14 13:34:18

多层编码器的输出状态，以多层解码器Seq2Seq模型TF 1.0

回答

相关问题