岭系数大于最小二乘法

Question

我一直在使用Matlab来计算使用最小二乘和岭的模型的系数。我很确定我所有的编码都是正确的。

但对于一个数据集，（波士顿壳体），脊系数比最小二乘系数大。这实际上可能吗？这是什么意思？ 还是有我犯了一个错误编码？.....

Answer 1

看来，它可能不是在所有问题......

1）在典型的最小二乘问题，你必须选择测试最小化

|| YX *的β||^2

2）另一种相关联的问题（称为套索问题）载体是找到最小化

|| YX *的β||测试矢量^ 2 + lambda * || beta ||

3）最后，在岭回归，你的问题是找到最小化

|| YX *测试||^2 +拉姆达* ||测试版测试向量||^2

注在上面的问题（2）中，显然你明确地惩罚了[beta_i]的大小。

在另一方面，在问题（3）的上方，你惩罚在betas_i的尺寸的差异。我的意思是，如果你有向量测试版，小beta_i和大beta_i s，你的成本仍然会很大。设想问题（1）中的矢量β= [0.1; 0.0001]。尽管为了减少“比例”，问题（2）中的β_is似乎是一个很好的解决方案，问题（3）中也不会发生这种情况，其中最好的办法是增加一点β_2= 0.0001的大小以减少更多beta_1的大小= 0.1。

因此，如果问题（3）您的MATLAB解决方案存在beta_i s的大小更相似，似乎你都做得很好。

我希望我帮助，但我从来没有运行这种回归的，我不这里有MATLAB为好。