余弦相似度的预处理要求是什么？

Question

余弦相似度上的输入是两个向量，代表我想比较的两个不同数据。是否需要矢量的语义？它可以简单地成为每个文件的字节表示。然后计算每个字节的频率？这有意义吗？或者应该有文件的矢量化，其中每个维度不是来自文件的原始数据，而是一些元数据作为每个术语的频率，如果我们说的是文本文件或tf-idf编码模型？把它放在另一个形状中：为了“正确”，余弦相似性是否需要一个复杂的数据预处理步骤，或者我可以将其作为输入整数值来表示数据的每个字节，而不考虑文本或只是一个频率每个字节的长短？

Answer 1

数据的“语义”很关键。例如，假设你正在比较英文文本文件。对于大型文档，各种字母出现的频率大致相同，因此如果向量中的元素表示字母的数量，您将难以区分文档。如果你的向量的元素代表单词的计数，你会得到更好的结果。如果你的向量元素代表“干”字的计数，甚至更好。等

余弦相似性是一个“愚蠢的”统计测量 - 它是由你来给它一些有意义的比较。