估计的优化模型

Question

语境下的测试误差正确方法：

据穆勒的“入门机器学习与蟒蛇”推荐工作流，人会做一个单一的分数评价对一个测试组是在过程的开始搁置：

这样做的好处来获得其超参数设置，在可能使用多个（不同的）模型嵌套交叉验证一个给定的模型。

单个测试集的评估给出了具有高方差的估计器。

问题：

有没有什么办法让比这个单一的分数更好的泛化误差估计？ （即使这种方法需要更多的训练迭代）

Answer 1

工作流程是完美的，但我认为你的模型需要一些工作。 您可以将数据集分为培训/验证/测试集。然后，您可以使用交叉验证对训练数据进行训练，对验证集继续测试，直至获得良好结果，然后作为最后一步使用测试数据。