如何确定语义搜索引擎的准确性？

Question

我的表弟创建了语义搜索引擎，他声称他的搜索引擎是最准确的。

我见过很多语义搜索引擎，他们看起来都一样对我来说，因为它们不是设计给您根据您键入的关键字结果。

所以，如果你正在创建一个语义搜索引擎，如何确定其结果的准确性？

Answer 1

其实sarnold的建议并不遥远。

什么，你通常会做的是采取一大堆的人，并让他们尝试了一堆标准查询。或者，如果你想让实验更公平，你可以让每个用户选择自己的查询，以避免任何偏见（因为你可以选择标准查询，你知道你的引擎擅长回答）。

对于每个查询的用户会期待通过前10个左右的结果，并说他们是否认为每一个结果是相关或不（你可能需要有用户评分的规模，而不是仅仅是/否）。

然后对于每个查询，您可以计算准确性分数，具体取决于您如何设置实验Precision and Recall可能是最合适的措施，尽管这些措施依赖于您可能不一定有的已知预期答案。计算简单的百分比准确度可能更简单也更合适。

要确定您的搜索引擎是否比你的竞争对手你有相同的人对这些搜索引擎以相同的方式得分执行相同的查询更好。完成这些后，您可以计算并比较搜索引擎的分数与您自己的分数。