ROC可以比较两组功能的分类能力吗？

Question

我正在学习SVM和ROC。据我所知，人们通常可以使用ROC（receiver operating characteristic）曲线来显示SVM（支持向量机）的分类能力。我想知道是否可以使用相同的概念来比较两个功能子集。

假设我有两个子集的特征子集A和子集B.他们是从两个不同的特征提取方法A和B从相同的列车数据中选择的。如果我使用这两个特征子集来训练相同的SVM通过使用LIBSVM svmtrain（）函数并绘制两者的ROC曲线，我可以通过它们的AUC值比较它们的分类能力吗？因此，如果我的子集A的AUC值高于subsetB，我可以得出结论：方法A比方法B更好？它有任何意义吗？

非常感谢，

Answer 1

是的，你是在正确的轨道上。但是，您需要记住一些事项。

1. 通常使用具有适当缩放/规范化的两个特征A和B可以提供比单独特征更好的性能。所以你可能会考虑同时使用特征A和B的可能性。
2. 当使用特征A和B训练SVM时，应该分别对它们进行优化，即将使用特征A获得的最佳性能与使用特征B获得的最佳性能进行比较。通常，特征A和B可能在不同的内核中提供最佳性能和参数设置。
3. 除了AUC之外，还有其他一些指标，如F1-score，Mean Average Precision(MAP)，可以在您评估测试数据后根据您考虑的应用程序进行计算，它们可能更合适。