为什么添加线性回归功能会降低精度？

Question

我是ML新手，正在参加一个kaggle比赛，学习一下。当我将某些特征添加到我的数据集时，精度会降低。

为什么不增加刚刚加权为零（忽略）的成本？是否因为非线性特征可能导致局部最小解决方案？

谢谢。

Answer 1

如果您正在讨论线性回归分类器的训练错误，那么除非您有错误，否则添加功能将始终减少错误。就像你说的那样，这是一个凸问题，全局解决方案永远不会变得更糟，因为你可以将权重设置为零。

但是，如果您正在谈论测试错误，那么过度拟合将是添加功能的大问题，并且您肯定会注意到这一点。

Answer 2

我不能发表评论，因此张贴为答案。

@agilefall：你不一定是错的。如果按照预测输出和实际输出之间的相关性测量准确度，那么随着添加更多特征，准确度可能会降低。线性回归并不能保证这方面的任何事情。