批量规范化而不是输入规范化

Question

我可以在输入层之后立即使用批量规范化层，而不是规范化我的数据吗？我希望获得类似的效果/表现吗？

在keras功能，将是这样的：

x = Input (...) 
x = Batchnorm(...)(x) 
... 

Answer 1

你可以做到这一点。但除了激活分布稳定外，关于蝙蝠虫的好消息是平均偏差和标准偏差可能随着网络学习而迁移。

实际上，在输入层后面设置蝙蝠技术看上去很花哨数据预处理一步。它有助于，有时很多（例如线性回归）。但是，一次计算整个训练样本的均值和方差比每批次学习它更容易和更有效。请注意，蝙蝠蛾的性能不是免费的，你不应该滥用它。