2010-11-25 209 views
13

有没有使用TREC_EVAL的机构?我需要一个“Trec_EVAL for dummies”。如何使用trec_eval评估搜索/检索引擎?

我试图评估几个搜索引擎比较喜欢回忆,精度参数,居质量,等我的论文工作。我无法找到如何使用TREC_EVAL将查询发送到搜索引擎并获取可以与TREC_EVAL一起使用的结果文件。

+0

你还对这个话题感兴趣吗? – shellter 2011-03-28 02:07:03

+0

我有一个相关的疑问,如何处理非二进制相关标签? – Shashank 2016-12-24 10:05:28

回答

16

基本上,trec_eval你需要一个(人产生的)地面实况。这必须是在一个特殊的格式:

query-number 0 document-id relevance 

给定一个集合像101Categorieswikipedia entry)这将是像

Q1046 0 PNGImages/dolphin/image_0041.png 0 
Q1046 0 PNGImages/airplanes/image_0671.png 128 
Q1046 0 PNGImages/crab/image_0048.png 0 

因此,查询号码标识的查询(例如从图片某些类别可以找到类似的类别)。从搜索引擎的结果已经然后转化为像

query-number Q0 document-id rank score Exp 

还是在现实

Q1046 0 PNGImages/airplanes/image_0671.png 1 1 srfiletop10 
Q1046 0 PNGImages/airplanes/image_0489.png 2 0.974935 srfiletop10 
Q1046 0 PNGImages/airplanes/image_0686.png 3 0.974023 srfiletop10 

描述here。您可能需要调整“文档ID”的路径名称。然后你可以计算标准指标。 trec_eval --help应该给你一些想法,以选择正确的参数来使用你的论文所需的测量。

trec_eval不发送任何疑问,你必须给他们自己准备。 trec_eval只做分析给出了一个基础trouth和你的结果。

一些基本信息,可以发现herehere