在R中的多个样本上绘制多个模型的MSE

对于我的每个模型，我想要为总数MSE创建boxplots以显示模型误差的变化性。为了生成显示错误分布的boxplot，多次抽样和拟合模型的最佳方法是什么？在R中的多个样本上绘制多个模型的MSE

对于每个模型，我将生成所有数据（列车和测试）的预测。然后我将根据预测计算出列车MSE和测试MSE的subsetting。以下函数将同时计算MSE两个值。

是否有更好的方法来重新采样和plot每个模型的MSE每个重新采样？任何帮助，将不胜感激。

calcMSE = function(model,modelLabel,dataSet,trainIdx,newX=NULL) 
{ 
    # The predict method for glmnet will need to be called differently from the 
    # other predict methods. 
    if ("glmnet" %in% class(model)) { 
    predVals = predict(model,newX,type="response") 
    } else { 
    predVals = predict(model,data) 
    } 
    MSE = list(
    name = modelLabel, 
    train = mean((predVals[trainIdx] - data$y[trainIdx])^2), 
    test = mean((predVals[-trainIdx] - data$y[-trainIdx])^2) 
    ) 

    return(MSE) 
} 

modelMSEs = data.frame(Model = rep(NA,8),Train.MSE = rep(NA,8),Test.MSE =  rep(NA,8)) 

modelMSEs[1,] = calcMSE(modelA1,"A1",Data,trainIdx) 
modelMSEs[2,] = calcMSE(modelA2,"A2",Data,trainIdx) 
modelMSEs[3,] = calcMSE(modelB1,"B1",Data,trainIdx) 
modelMSEs[4,] = calcMSE(modelB2,"B2",Data,trainIdx) 
modelMSEs[5,] = calcMSE(modelC1,"C1",Data,trainIdx) 
modelMSEs[6,] = calcMSE(modelC2,"C2",Data,trainIdx) 

print(modelMSEs)

来源

2017-02-16 Starbucks

它看起来像包“cvTools”允许从一个绘制结果的盒须图K-CV折叠W /功能bwplot.cv。这可能是一条更好的路线。谢谢。

来源

2017-02-16 21:02:03 Starbucks

在R中的多个样本上绘制多个模型的MSE

回答

相关问题