recurrent-neural-network

    4热度

    2回答

    在Tensorflow的RNN教程中:https://www.tensorflow.org/tutorials/recurrent 。它提到了两个参数:批量大小和时间步长。我对这些概念感到困惑。在我看来,RNN引入批次是因为训练序列可能非常长,反向传播不能计算这么长的时间(爆炸/消失梯度)。所以我们将长序列序列分成更短的序列,每个序列是一个小批量,其大小称为“批量大小”。我在这里吗? 关于时间步长

    0热度

    1回答

    我得到了下面的一段为TensorFlow序列分类代码(请参见本quesiton结束的代码): https://gist.github.com/danijar/c7ec9a30052127c7a1ad169eeb83f159 我需要修改代码来解决我的二进制序列分类问题。 我的训练输入是一个CSV文件(非常大),CSV文件的格式是: binary_sequence(fixed sequence len

    3热度

    2回答

    LSTM的注意机制是一个直接的softmax前馈网络,它接收编码器每个时间步的隐藏状态和解码器的当前状态。 这些2个步骤似乎矛盾并且无法绕到我的头: 1)需要被预先定义 2)编码器的隐藏状态的数量是可变的的输入的前馈网络的数量(取决于在编码期间的时间步数)。 我误会了什么吗?训练与训练常规编码器/解码器网络一样,还是需要单独训练注意机制? 由于提前

    0热度

    1回答

    我是一个新的keras用户,我想要轻松理解如何构建lstm模型。 在我的数据,我有很多的用户,其中有许多序列,如下: user 1 : X Labels sequence 1 [ 0, 1 , 0, 1] sequence 2 [ 0, 1 , 0, 1] sequence 3 [ 0, 1 , 0, 1 sequence 4 ? u


    4热度

    2回答

    我有一个聊天应用程序,可以使用预定义的消息。数据库有大约80个预定义的会话,每个会话有5个可能的响应。为了澄清,这里有一个例子: Q: "How heavy is a polar bear?" R1: "Very heavy?" R2: "Heavy enough to break the ice." R3: "I don't know. Silly question." R4: ...

    0热度

    1回答

    我试图用循环神经网络来预测单词。 我正在训练网络,将独立预训练的word2vec字作为输入。 我想知道是否可以使用目标词的word2vec来计算错误代价。 它似乎不工作,我从来没有见过这样的例子或论文。 是否可以使用word2vec作为计算错误成本的目标值? 如果是这样,我应该使用什么样的成本函数? 如果不是,请以数学方式解释原因。 我应该如何设置输入和目标? 现在我使用的架构如下图所示: inp

    0热度

    1回答

    我会通过使用对巴比数据集keras存储网络下面的代码 - '''Trains a memory network on the bAbI dataset. References: - Jason Weston, Antoine Bordes, Sumit Chopra, Tomas Mikolov, Alexander M. Rush, "Toward

    1热度

    1回答

    这些天我研究了一些关于RNN和老师强迫的事情。但有一点我不明白。读数和教师强迫的原则是什么?通过将输出与此步骤的输入一起使用,或者将输出用作此步骤的单元状态,我们如何能够将RNN的输出(或地面实况)从前一时间步骤反馈回当前时间步骤?我读过一些论文,但仍困惑着我。(╯□╰)o。希望有人能为我解答。

    1热度

    1回答

    我对神经网络很陌生,想知道为什么所有RNN的例子,特别是char-rnns都使用交叉熵损失函数作为它们的损失函数。我已经使用了Google,但似乎无法在这方面讨论任何功能。我被要求激励它的使用,并且看它的优点和缺点,所以任何我可以通读的论文或来源都会受到重视。