卷积神经网络是否需要归一化输入？

Question

我已经训练了一个卷积神经网络，比较两次归一化后，我发现简单的负平均数和除以标准方差比缩放到[0，1]好，似乎输入值的区间是在[0，1]中使用sigmoid函数是不必要的。

有人可以解释一下吗？

Answer 1

如果您使用逻辑回归来讨论NN，那么您是正确的，一个合适的sigmoid函数（或在此上下文中的logistic function）将为您提供原始输入的[0,1]范围。

然而，逻辑函数时效果最好的输入是在零任一侧上的小的范围内 - 因此，例如，你输入到逻辑函数可能是[-3，3]。

通过将您的数据重新调整为首先，您将展平任何底层分布并将所有数据移到零的正面，这不是逻辑函数所期望的。所以，你将得到一个坏的结果比正常化（即减去平均和标准偏差鸿沟，就像你说的），因为实现关系正常化步骤考虑在原来的分布变异并确保平均是零，因此您可以同时获得逻辑功能的正面和负面数据输入。

在你的问题中，你说过“比较两个标准化” - 我认为你误解了“标准化”的含义，实际上将normalisation与缩放比较，这是不同的。