梯度增强树库

Question

你知道一个好的梯度增强树机器学习库吗？

优选：

• 具有良好的算法诸如AdaBoost，TreeBoost，AnyBoost，LogitBoost等
• 具有可配置的弱分类器能够分类和预测（回归）
• 与所有的
• 种类允许的信号：数字，类别或自由文本
• C/C++或Python
• 打开ource

到目前为止，我发现http://www.multiboost.org/home看起来不错。但我想知道是否还有其他图书馆？

Answer 1

我个人更喜欢使用python subprocess模块​​运行weka（这是java）。然而，我的同事经常使用：

• orange - 推荐给我作为Python的最佳机器学习工具包。
• opencv - 这是C++，但有python绑定。该库最初是为计算机视觉开发的，但实现了许多ML算法（包括boosting）。

Answer 2

这些不neccessarily满足自己的喜好，但也有：

• Treenet一个商业化和杰罗姆弗里德曼最初实现的扩展。不开源，但我们发现它工作得很好
• R gbm package特别针对梯度提升树。

Answer 3

如果您正在寻找python版本，scikit-learn的最新版本会提供用于分类和回归的梯度提升回归树（docs）。

这是一个类似的r GBM包 - GBM是（最小二乘）回归哪来更快scikit学习的实现更快的测试时间，当你的功能数量> 1000

Answer 4

我会建议xgboost （问题提出时并不存在），这是一个开源的R/python包。

这是目前存在的最快速的梯度推进树方法中，允许回归/分类，支持稀疏矩阵...