功能选择

Question

我拥有文档术语数据，其中的术语以维度表示。我必须对术语进行特征选择，我打算使用“互信息”作为执行特征选择的措施。我的疑问是，在计算所有可能的配对之间的相互信息之后，我们应该做什么？ 我应该设置一个阈值并选择落入阈值范围内的所有对的条款吗？

Answer 1

如果你想使用互信息，你可以考虑使用mRMR algrorithm。您可以使用此类算法来选择要素。我的意思：

You have n features at your data set (it means n dimensions) 

如果你想使用最有意义的

k of n (k < n) 

您可以使用（使用互信息的背景即与MRMR）特征选择

决定ķ依赖在某些情况下。

• 其中之一是你不想在你的 模型创建中使用不必要的功能。

• 另一件事是要aviod计算成本，并从数据中删除一些 功能设置

你删除了一些功能后，您应该测试你的算法。你检查精度是否提高，并根据你的目标，即使精度下降，从而避免计算成本（所以你可能想要放弃一些功能）

另一方面，我建议你看功能提取方法，即PCA和LDA（尤其适合您的情况）。