通过查找单词的线性代数结构来评估手套模型

Question

我已经在我的文本语料库上构建了手套模型，在此应用之后的c应用程序中使用https://github.com/stanfordnlp/GloVe/tree/master/src。 我想找到这样的字的嵌入该

如果A是与B和C是有关d，则A-C + B应等于 到D.例如，嵌入载体算术 “澳大利亚” - “堪培拉”+“印度”应该等于嵌入 “新德里”。

我想评估这些嵌入在python中。

Answer 1

任何A B C D评价步骤：

1. 计算的D'的矢量表示与D' = A-C+B。
2. 对于训练好的GloV中的所有单词矢量v，计算v和D'的余弦相似度。
3. 检查与D'最相似的矢量是否实际上是目标词D。

这样的结果可以认为是@ top1类似于信息检索的评估。您可以更改第三步获取@top k。