为什么不在Caret中生产的这些模型完全相同？

我真的很想理解为什么两段代码不会产生相同的模型。要创建第一个神经网络（NN1），我使用（代码如下）在Caret包的train函数中进行交叉验证，以找到最佳参数。 package's vignette的第2页建议它将“使用最佳参数组将最终模型拟合到所有训练数据”。为什么不在Caret中生产的这些模型完全相同？

因此，在下面的代码中，我期望NN1能够反映整个训练集的最佳参数，它恰好是size = 5和decay = 0.1。

我的计划是使用这一步的参数创建一个模型，使用组合的训练和测试数据投入生产。在我创建这个生产模型之前，我想确保我正确使用train函数的输出。

因此，我创建了第二个模型（NN2），其中列车功能为without tuning。相反，我指定了参数size = 5和decay = 0.1。使用相同的数据，相同的参数（和相同的种子），我期望相同的模型，但它们不是。为什么这些模型不一样？

# Create some data 
library(caret) 
set.seed(2) 
xy<-data.frame(Response=factor(sample(c("Y","N"),534,replace = TRUE,prob=c(0.5,0.5))), 
       GradeGroup=factor(sample(c("G1","G2","G3"),534,replace=TRUE,prob=c(0.4,0.3,0.3))), 
       Sibling=sample(c(TRUE,FALSE),534,replace=TRUE,prob=c(0.3,0.7)), 
       Dist=rnorm(534)) 

xyTrain <- xy[1:360,] 
xyTest <- xy[361:534,] 

# Create NN1 using cross-validation 
tc <- trainControl(method="cv", number = 10, savePredictions = TRUE, classProbs = TRUE) 
set.seed(2) 
NN1 <- train(Response~.,data=xyTrain, 
      method="nnet", 
      trControl=tc, 
      verbose=FALSE, 
      metric="Accuracy") 

# Create NN2 using parameters from NN1 
fitControl <- trainControl(method="none", classProbs = TRUE) 
set.seed(2) 
NN2 <- train(Response~.,data=xyTrain, 
      method="nnet", 
      trControl=fitControl, 
      verbose=FALSE, 
      tuneGrid=data.frame(size=NN1$bestTune[[1]],decay=NN1$bestTune[[2]]), 
      metric="Accuracy")

下面是结果

> # Parameters of NN1 
> NN1$bestTune 
    size decay 
1 1  0 
> 
> # Code to show results of NN1 and NN2 differ 
> testFitted <- data.frame(fitNN1=NN1$finalModel$fitted.values, 
+       fitNN2=NN2$finalModel$fitted.values) 
> 
> testPred<-data.frame(predNN1=predict(NN1,xyTest,type="prob")$Y, 
+      predNN2=predict(NN2,xyTest,type="prob")$Y) 
> # Fitted values are different 
> head(testFitted) 
     fitNN1 fitNN2 
X1 0.4824096 0.4834579 
X2 0.4673498 0.4705441 
X3 0.4509407 0.4498603 
X4 0.4510129 0.4498710 
X5 0.4690963 0.4753655 
X6 0.4509160 0.4498539 
> # Predictions on test set are different 
> head(testPred) 
    predNN1 predNN2 
1 0.4763952 0.4784981 
2 0.4509160 0.4498539 
3 0.5281298 0.5276355 
4 0.4512930 0.4498993 
5 0.4741959 0.4804776 
6 0.4509335 0.4498589 
> 
> # Accuracy of predictions are different 
> sum(predict(NN1,xyTest,type="raw")==xyTest$Response)/nrow(xyTest) 
[1] 0.4655172 
> sum(predict(NN2,xyTest,type="raw")==xyTest$Response)/nrow(xyTest) 
[1] 0.4597701 
> 
> # Summary of models 
> summary(NN1) 
a 4-1-1 network with 7 weights 
options were - entropy fitting 
b->h1 i1->h1 i2->h1 i3->h1 i4->h1 
-8.38 6.58 5.51 -9.50 1.06 
b->o h1->o 
-0.20 1.39 
> summary(NN2) 
a 4-1-1 network with 7 weights 
options were - entropy fitting 
b->h1 i1->h1 i2->h1 i3->h1 i4->h1 
10.94 -8.27 -7.36 8.50 -0.76 
b->o h1->o 
3.15 -3.35

来源

2017-02-21 rmacey

我相信这与随机种子做。当您进行交叉验证时，您正在拟合该起始种子的多个模型（set.seed(2)）。最终模型适合相同的参数，但最终模型适用于交叉验证的种子与您尝试仅使用这些参数自己拟合最终模型时不一样。你在这里看到这个，因为每次神经网络调用的权重（nnet）都是随机生成的。

来源

2017-02-21 17:01:36 cdeterman

这是有道理的。我注意到nnet包中的Wts参数是初始参数向量。如果缺失，则随机选择。有没有办法将种子设置为Caret的nnet函数。我不是神经网络方面的专家，也不太了解如何指定初始权重（多少，数值的范围）。这[post]（http://stackoverflow.com/questions/13773275/specifying-initial-weights-for-nnet-in-r-programming-neural-network）似乎提供了一个想法。也许我可以通过Caret将一些初始权重传递给nnet。 – rmacey

我相信你可以直接将'Wts'参数传递给'train'函数。但是，我会告诫不要始终使用相同的权重。我只会这样做，向自己证明发生了什么。 – cdeterman

为什么不在Caret中生产的这些模型完全相同？

回答

相关问题