如何检索所有与他们的网站频率

Question

我索引了10个网站的索引数据。现在我想用下面的格式来转储每个网站的数据：[术语，术语的频率在该网站，IDF，网站]

e.g : [management,12,145,example.com] 
where 12 is a frequency of term in example.com, 145 is IDF of term in index. 

我能做到这一点使用Solr和如何？

Answer 1

如果您希望测量文档中不同术语的分布情况，那么直方图就是您想要的。检查LukeRequestHandler的例子。

Answer 2

一些低级别的API：

InderReader reader = IndexReader.open(directory); 
TermDocs termDocs = reader.termDocs(); 
// TermDocs termDocs = reader.termDocs(term); // if you need docs containing specific term 
while (termDocs.next()) { 
    System.out.println("DoC#: " + termDocs.doc()); 
    System.out.println("Full document: " + reader.document(termDocs.doc())); 
    System.out.println("Term frequency: " + termDocs.freq());   
} 

的TF * IDF看DefaultSimilarity和this question了一些意见。