回归中的截距和系数

Question

回归模型we don't penalize the intercept (Lasso and Ride)为什么这样呢？什么拦截重要性。

为什么Over fitting model趋于具有较大系数？

Answer 1

Ridge和LASSO分别相当于使用L1和L2正则化。正则化有助于减少方差并避免过度拟合。所以，你的问题相当于问，惩罚拦截是否有助于规范模型并避免高方差？惩罚拦截会导致它阻止变化，并将其保留在默认位置（可能为零或一些小的随机初始化值）。然而，没有理由认为这种随机初始化有任何意义。其他系数的正则化为模型增加了刚度，使得概念不那么灵活，并且导致较少的曲折（较低的方差）。然而，将正则化应用于截距，只是拖动线条穿过y轴的点，移动几何体没有特别的好处。或者至少我是这样想象的。希望有所帮助。