带TF-IDF的KNN投掷“重塑你的数据”带有余弦相似度的警告作为距离度量

Question

我正在尝试使用SciKIt中的余弦相似度来学习KNN，但它一直在抛出这些警告。有人可以解释这些的含义是什么，为什么只有当我试图用余弦相似性拟合KNN模型而没有使用任何其他距离度量时才会出现这种情况？

代码：

t0 = time.time() 
count_vect = CountVectorizer() 
X_train_counts = count_vect.fit_transform(X) 

tfidf_transformer = TfidfTransformer() 
X_train_tfidf = tfidf_transformer.fit_transform(X_train_counts) 

vectorizer = TfidfVectorizer() 
vec_fit = vectorizer.fit_transform(X) 

t1 = time.time() 
total = t1-t0 
print "TF-IDF built:", total 

#######################------------------------############################ 

t0 = time.time() 
nbrs = NearestNeighbors(n_neighbors=20, algorithm='auto', metric=cosine_similarity) 
nbrs.fit(X_train_tfidf.toarray())#,Y) 
#KD_TREE won't work here becuase it doesn't work with Sparse Matrix -- on giving it a dense matrix, it throws a memory error 

t1 = time.time() 
total = t1-t0 
print "KNN Built:", total 

反复警告消息：

C:\Anaconda2\lib\site-packages\sklearn\utils\validation.py:386: DeprecationWarning: Passing 1d arrays as data is depreca 
ted in 0.17 and willraise ValueError in 0.19. Reshape your data either using X.reshape(-1, 1) if your data has a single 
feature or X.reshape(1, -1) if it contains a single sample. 
    DeprecationWarning) 

在建议试着这样做：

nbrs = NearestNeighbors(n_neighbors=20, algorithm='auto', metric=cosine_similarity) 
nbrs.fit(numpy.array(X_train_tfidf).reshape(1, -1)) 

这引发以下错误：

Traceback (most recent call last): 
    File ".\tf-idf.py", line 54, in <module> 
    nbrs.fit(numpy.array(X_train_tfidf).reshape(1, -1)) 
    File "C:\Miniconda2\lib\site-packages\sklearn\neighbors\base.py", line 816, in fit 
    return self._fit(X) 
    File "C:\Miniconda2\lib\site-packages\sklearn\neighbors\base.py", line 221, in _fit 
    X = check_array(X, accept_sparse='csr') 
    File "C:\Miniconda2\lib\site-packages\sklearn\utils\validation.py", line 373, in check_array 
    array = np.array(array, dtype=dtype, order=order, copy=copy) 
ValueError: setting an array element with a sequence. 

Answer 1

对我来说这没有意义，这不与其他指标（如linear_kernel）显示，我猜这是他们忘记（？）更新，因为（linear_kernel和cosine_similarity）都是内核操作。

为了解决这个问题，你会得到这个错误，因为fit()方法需要一个2维数组，但是你传递的是1维数组。 例如，这将提出这个警告X_train_tfidf=np.array([1,2,3,4.234,213.2])，因为它具有形状5.另一方面，这不会X_train_tfidf=np.array([[1,2,3,4.234,213.2]])，因为它具有形状（5,1）并且因此是二维的。

什么警告消息显示是把你的1维阵列，并转换成其等效于X_train_tfidf=np.array([[1,2,3,4.234,213.2]])

内核矩阵的2维状X_train_tfidf=np.array([1,2,3,4.234,213.2]).reshape(1, -1)基本上线性代数的儿童和涉及矩阵运算，其是由默认2维。

希望它是有道理的，如果没有，请大喊。