应在哪里插入Dropout。？完全连接层。卷积层。？或两者。？

Question

我想征询Dropout应插入在哪里的反馈意见？

它应该位于完全连接层(Dense)或卷积层中。或两者。？

感谢您提前提供反馈。

Answer 1

退出只是防止网络过度配合的正则化技术。它在训练期间以给定概率将节点的权重设置为零，从而减少每次迭代训练所需的权重数量。它可以应用于网络的每一层（不管它是完全连接的还是卷积的），或者在选定的层之后。应用哪些图层丢失仅仅是为了获得最佳性能的设计决策。

Answer 2

通常，完全连接的图层上会放置丢失，这是因为它们是具有更多参数的图像，因此它们可能会过度地自我调整以导致过度拟合。

但是，由于它是一种随机正则化技术，因此您可以将它放在任何地方。通常，它被放置在具有大量参数的图层上，但没有人拒绝将它应用到卷积图层（对于fc图层而言，参数的数量较少）。

此外，丢弃概率应根据所需的正则化影响而改变。

经验法则是当应用于完全连接的层时将保持概率（1-丢弃概率）设置为0.5，同时将其应用于更大数量（通常为0.8,0.9）时应用于卷积层。

请注意：因为在每个机器学习框架中，退出都是以其“倒置”版本实现的，所以您应该降低学习速度以克服退出概率给学习速率带来的“推动力”。 欲了解更全面的评估：https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/

Answer 3

你可以选择你想放弃你的Dropout。我通常在Convolution之后使用，但您也可以将它与FC层一起使用。尝试不同的组合以获得最佳结果。