分类器超参数之间的相关

Question

我在想两个不同分类器的超参数是否存在某种相关性。

例如：让我们说，我们与最佳超参数（通过GridSearch找到）数据集运行LogisticRegression，并希望对同一数据集运行另一个分类像SVC（SVM分类），而不是使用GridSearch找到所有的超参数，我们是否可以修复一些超参数的值（或减少范围来限制GridSearch的搜索空间）？

作为一个实验，我用scikit-learn的分类像LogisticRegression，SVS，LinearSVC，SGDClassifier和Perceptron到classifiy一些众所周知的数据集。在某些情况下，我可以凭经验看到一些相关性，但并非总是适用于所有数据集。

所以请帮我清楚这一点。

Answer 1

我不认为你可以像这样将不同分类器的不同参数关联在一起。这主要是因为每个分类器的行为不同，因为它具有根据自己的方程组调整数据的方法。例如，采用SVC与两个不同的内核rbf和sigmoid。可能是rbf可能完全符合intercept parameter C设置为0.001的数据，而“sigmoid kernel over the same data may fit with C”值为0.00001。这两个值也可能相等。但是，你绝对不能这么说。当你这样说：

在某些情况下，我能够看到经验上的一些相关性，但并不总是对所有数据集。

这可能只是一个巧合。因为这一切都取决于分类器。您不能将它globally.Correlation并不总是等于因果关系

您可以访问this site，看看自己，虽然不同的回归函数具有相同的参数a，他们的公式有很大的不同，因此，因此可能大幅同一数据集不同的值a。