有没有办法通过梯度提升量化自变量的影响？

Question

我被要求使用渐变增强或随机森林来运行模型。然而，迄今为止这么好，根据变量重要性返回的唯一输出是基于变量被用作分支规则的次数。我现在被要求基本上得到系数或以某种方式量化变量对目标的影响。 有没有办法用渐变增强模型来做到这一点？我的其他想法是要么只使用显示在常规决策树或GLM或常规回归模型中被用作分支规则的变量。

任何帮助或ides将不胜感激！非常感谢！

Answer 1

只是为了让某些没有一个误区：SAS实现决策树/梯度提高（至少在EM）使用基于拆分变量重要性。

基于分割的重要性不计算所做的分割数。 它是减少平方和的减少量与一个变量（特定于这个变量对所有分割的总和）相对于模型中所有分割所实现的平方和减少的比率。

如果使用代理规则，高度相关的变量将获得大致相同的值。