Keras：使用批次标准化在同一数据集上进行不同的培训和验证结果

即使我使用相同的数据集，我对培训有较高的分类，但对验证的分类较低。只有在使用批量标准化时才会出现此问题。我是否正确实施？Keras：使用批次标准化在同一数据集上进行不同的培训和验证结果

代码使用批标准化：

train_datagen = ImageDataGenerator(rescale=1./255) 
train_generator = train_datagen.flow_from_directory(
directory = '../ImageFilter/Images/', 
target_size=(img_rows, img_cols), 
batch_size=batch_size, 
class_mode='categorical', 
shuffle=True) 

model = Sequential() 

model.add(Convolution2D(16, 
kernel_size=(3, 3), 
strides=(2,2), 
activation='relu', 
input_shape=(img_rows, img_cols, 3))) 
model.add(BatchNormalization()) 
model.add(MaxPooling2D((2,2), strides=(2,2))) 

model.add(Flatten()) 
model.add(Dense(128, activation='relu')) 
model.add(Dense(2, activation='softmax')) 

model.compile(loss='categorical_crossentropy', 
optimizer='adam', 
metrics = ['accuracy']) 
epochs = 100 
patience = 6 
n_images = 91 
file_path = 'imageFilterCNN.hdf5' 

checkpointer = ModelCheckpoint(file_path, monitor='val_acc', verbose=0, save_best_only=True) 
earlystop = EarlyStopping(monitor='val_acc', patience=patience, verbose=0, mode='auto') 
tboard = TensorBoard('./logs') 

model.fit_generator(
train_generator, 
steps_per_epoch=n_images// batch_size, 
epochs=epochs, 
callbacks=[checkpointer, earlystop, tboard], 
validation_data=train_generator, 
validation_steps=n_images// batch_size)

输出：时代15/100 11/11 [===================== =========] - 2S - 损失：0.0092 - ACC：1.0000 - val_loss：3.0321 - val_acc：0.5568

来源

2017-06-15 mcudic

这些结果有什么奇怪的地方？训练的准确性总是比测试更好;你有什么理由期望泛化是简单的吗？ – lejlot

我正在测试它正在训练的相同数据集。所以结果应该非常相似，而不是。 – mcudic

您在第一（输入）将批标准化层，这是最多的可能是一个错误。你为什么要这样做？你的输入是图像，你很清楚如何规范你的输入 - 事实上，这就是你在第一行所做的。再次应用规范化是没有意义的。

批处理标准化应用于隐藏层，以便数据不会太大或太小。没有简单的通用方法来完成此操作，因此Sergey Ioffe and Christian Szegedy介绍了此特殊层。

来源

2017-06-15 17:57:51

好的。我在第一层中取出了批量标准化。我仍然遇到同样的问题。当我在相同的数据集上训练和验证/测试时，我的训练结果比我的测试结果好得多。 – mcudic

@mcudic你有没有解决你的问题？你可以包括你使用的Keras和Tensorflow版本吗？以及CUDA和CuDNN的版本？ –

Keras：使用批次标准化在同一数据集上进行不同的培训和验证结果

回答

相关问题