我认为函数TfidfVectorizer不能正确计算IDF因子。 例如,复制从tf-idf feature weights using sklearn.feature_extraction.text.TfidfVectorizer代码:使用来自sklearn.feature_extraction.text.TfidfVectorizer的TfidfVectorizer计算IDF
from sklearn.feature_extraction.text import TfidfVectorizer
corpus = ["This is very strange",
"This is very nice"]
vectorizer = TfidfVectorizer(
use_idf=True, # utiliza o idf como peso, fazendo tf*idf
norm=None, # normaliza os vetores
smooth_idf=False, #soma 1 ao N e ao ni => idf = ln(N+1/ni+1)
sublinear_tf=False, #tf = 1+ln(tf)
binary=False,
min_df=1, max_df=1.0, max_features=None,
strip_accents='unicode', # retira os acentos
ngram_range=(1,1), preprocessor=None, stop_words=None, tokenizer=None, vocabulary=None
)
X = vectorizer.fit_transform(corpus)
idf = vectorizer.idf_
print dict(zip(vectorizer.get_feature_names(), idf))
输出为:
{u'is': 1.0,
u'nice': 1.6931471805599454,
u'strange': 1.6931471805599454,
u'this': 1.0,
u'very': 1.0}`
但应该是:
{u'is': 0.0,
u'nice': 0.6931471805599454,
u'strange': 0.6931471805599454,
u'this': 0.0,
u'very': 0.0}
不是吗?我究竟做错了什么?
鉴于IDF的计算中,根据http://www.tfidf.com/,是:
IDF(t) = log_e(Total number of documents/Number of documents with term t in it)
因此,当术语 '这个', '是' 和 '非常' 出现在两个句子,的IDF = log_e(2/2)= 0.
术语'奇怪'和'好'只出现在两个文档中的一个中,所以log_e(2/1)= 0,69314。
嘿普里西拉。我不是一个Python用户,但你能澄清你想要做什么以及遇到的问题吗?如果他们明白你的确切目标,你为什么试图获得专家用户的回应到达它,为什么输出是错误的。祝你好运得到一个答案,并欢迎来到堆栈溢出 –
我真的需要明白我能做些什么来获得正确的tf-idf值使用sklearn函数,因为他们正在返回 –