嵌入与回归神经网络

Question

我正在研究项目文本数据（这是关于搜索引擎查询监督分类）。我已经实现了不同的方法，并且我还为文本使用了不同的模型（例如，我的词汇量的二维向量 - 如果第i个词出现在文本中，则为1，否则为0 - 或使用模型word2vec嵌入的词）。

我的顾问告诉我，也许我们可以找到使用循环神经网络的查询的另一种表示形式。这种表示应该通过重复关系来考虑文本中单词的顺序性。我已经阅读了一些有关RNN的文档，但是我没有发现对此目标有用的任何内容。我已经阅读了很多关于语言建模（预测单词概率）的内容，但我不明白如何才能适应这个模型以获得像嵌入式向量这样的东西。

非常感谢！

Answer 1

通常，如果想从查询或利用RNN的句子获得嵌入，则使用logits。 logits仅仅是完整句子/查询的正向传递后网络的输出值。

logit值产生一个具有输出层维度的向量（即目标类的数量）：通常，它是词汇表，因为它们是从语言模型中提取的。

对于提示看看这些：

• http://arxiv.org/abs/1603.07012
• How does word2vec give one hot word vector from the embedding vector?

注意，在原则上人们可以使用也可以使用训练的其他任务的双向网络或网络，获得更小的嵌入，即使这最后一种选择是有点花哨的，而且我还没有探究过我的知识。