随机森林和随机树算法之间的区别

Question

请给我一个关于随机树和随机森林分类算法的说明。如果有任何书籍或网站给出详细的解释，请提出建议。

Answer 1

两者之间的比较是有点无意义，因为随机森林是多个随机树（因此 - 森林）相结合的方法，使用甚至更随机化的随机样本的（选择与更换成一个大的分类器进行训练每个树加上随机选择树可以用来执行分割的特征）。换句话说 - RF是应用于随机树的集合方法通常。将它们作为comepettice方法进行比较没有意义，因为它们不是。随机森林应与其他集成方法（如AdaBoost等）和随机树与基本的简单分类器（如Perceptron（尽管它来自不同的模型族））进行比较。

Answer 2

完成以前的答案，我想提出以下建议书，以便更好地了解森林是如何随机工作：

• 决策森林从A. Criminisi和J.肖顿，很好 理论解释和说明
• 统计学习，T.黑斯蒂

和元素，如果你能没有找到这些书，我也建议：

• 莱奥·布雷曼对RF原创文章
• ，你可以找到那里的幻灯片和演示： http://research.microsoft.com/en-us/projects/decisionforests/

Answer 3

1）随机森林 随机森林是随机决策森林的一般技术的一个概念，它是一种用于分类，回归和其他任务的集合学习技术，通过在训练时构建大量的决策树并输出作为类的模式的类来进行控制（分类）或个别树木的平均预测（回归）。随机决策森林对于决策树过度适应其训练集的习惯是准确的。第一种随机决策森林算法是由Tin Kam Ho利用随机子空间方法创建的，在Ho的公式中，这是一种实现由Eugene Kleinberg提出的“随机区分”方法的分类方法。该算法的扩展由Leo Breiman [5]和Adele Cutler [2]开发，“Random Forests”为其商标[3]。该扩展结合Breiman的“袋装”思想和随机选择特征，由Ho后来由Amit和Geman [4]独立完成，以构建一组具有受控方差的决策树。 2） 随机树随机树是一个有监督的分类器;它是一种集成学习算法，可以生成大量个人学习者。它采用装袋思路构建一个随机数据集来构建决策树。在标准树中，每个节点都使用所有变量之间的最佳分割进行分割。在随机森林中，每个节点使用在该节点随机选择的预测子集中的最好分割。 Leo Breiman和Adele Cutler介绍了随机树。该算法可以处理分类和回归问题。随机树是一组称为森林的树预测器（集合）。分类机制如下：随机树分类器获取输入特征向量，将其与林中的每棵树分类，并输出获得大多数“投票”的类标签。在回归的情况下，分类器答复是森林中所有树木的平均响应。随机树本质上是机器学习中两种现有算法的组合：单一模型树与随机森林思想合并。模型树是决策树，其中每一片叶片都拥有一个线性模型，该线性模型针对由该叶片解释的局部子空间进行了优化。随机森林已经证明可以显着提高单一决策树的性能：树多样性是通过两种随机化方式产生的[4,6,11]。首先，对训练数据进行采样，替换Bagging中的每一棵树。其次，当增长一棵树时，不是总是为每个节点计算最佳可能的分割，而是仅在每个节点处考虑所有属性的随机子集，并且计算该子集的最佳分割。首次将这种树用于分类随机模型树，将模型树和随机森林结合起来。随机树使用这种产品进行分割选择，从而诱导合理平衡的树，其中岭值的全局设置适用于所有树叶，从而简化了优化过程。 [1] [2] [3] [4]

[1] N。 Landwehr，M. Hall和E. Frank，“物流模型树”，马赫。 Learn。，vol。 59，没有。 12，pp.161-205,2005。 [2] Breiman Leo（2001）。 “随机森林”。机器学习45（1）：5-32。
[3] Liaw，Andy（2012年10月16日）。 “R包随机森林的文档”。检索2013年3月15日。 [4]美国商标注册号码3185828，注册2006/12/19。 [5]维基百科贡献者，随机树，‖维基百科，自由的百科全书。维基媒体基金会，2014年7月13日