13
有没有使用TREC_EVAL的机构?我需要一个“Trec_EVAL for dummies”。如何使用trec_eval评估搜索/检索引擎?
我试图评估几个搜索引擎比较喜欢回忆,精度参数,居质量,等我的论文工作。我无法找到如何使用TREC_EVAL将查询发送到搜索引擎并获取可以与TREC_EVAL一起使用的结果文件。
有没有使用TREC_EVAL的机构?我需要一个“Trec_EVAL for dummies”。如何使用trec_eval评估搜索/检索引擎?
我试图评估几个搜索引擎比较喜欢回忆,精度参数,居质量,等我的论文工作。我无法找到如何使用TREC_EVAL将查询发送到搜索引擎并获取可以与TREC_EVAL一起使用的结果文件。
基本上,trec_eval你需要一个(人产生的)地面实况。这必须是在一个特殊的格式:
query-number 0 document-id relevance
给定一个集合像101Categories(wikipedia entry)这将是像
Q1046 0 PNGImages/dolphin/image_0041.png 0
Q1046 0 PNGImages/airplanes/image_0671.png 128
Q1046 0 PNGImages/crab/image_0048.png 0
因此,查询号码标识的查询(例如从图片某些类别可以找到类似的类别)。从搜索引擎的结果已经然后转化为像
query-number Q0 document-id rank score Exp
还是在现实
Q1046 0 PNGImages/airplanes/image_0671.png 1 1 srfiletop10
Q1046 0 PNGImages/airplanes/image_0489.png 2 0.974935 srfiletop10
Q1046 0 PNGImages/airplanes/image_0686.png 3 0.974023 srfiletop10
描述here。您可能需要调整“文档ID”的路径名称。然后你可以计算标准指标。 trec_eval --help
应该给你一些想法,以选择正确的参数来使用你的论文所需的测量。
trec_eval
不发送任何疑问,你必须给他们自己准备。 trec_eval
只做分析给出了一个基础trouth和你的结果。
你还对这个话题感兴趣吗? – shellter 2011-03-28 02:07:03
我有一个相关的疑问,如何处理非二进制相关标签? – Shashank 2016-12-24 10:05:28