平移同变性及其与convolutonal层和空间汇集层

Question

在卷积神经网络模型的上下文关系，我曾经听到一份声明中说：

回旋的一个期望的特性是它们 翻译等变;而引入空间池 可能会破坏翻译等价物的性质。

这个说法是什么意思，为什么？

Answer 1

很可能你从Bengio's book得知它。我会尽力给你我的解释。

---

从粗略的意义上说，如果f(g(x)) = g(f(x))两个转换是等变的。在你的卷积和翻译的情况下，意味着如果你convolve(translate(x))它将如同你translate(convolve(x))一样。这是所希望的，因为如果卷积会在图像中找到猫的眼睛，那么如果您将会移动图像，它会发现该眼睛。

你可以自己看到这个（我只使用1d的conv，因为它很容易计算的东西）。让我们来圈定v = [4, 1, 3, 2, 3, 2, 9, 1]与k = [5, 1, 2]。结果将是[27, 12, 23, 17, 35, 21]

现在让我们通过添加v' = [8] + v来改变我们的v。与k相关联，您将获得[46, 27, 12, 23, 17, 35, 21]。因为你的结果只是以前的一些结果。

---

现在关于空间池的部分。让我们对第一个结果和第二个结果做一个最大化的大小为3的池。在第一种情况下，您将获得[27, 35]，在第二个[46, 35, 21]。正如你所见，27莫名其妙地消失了（结果已损坏）。如果你将平均汇集，它将会更加腐败。

P.S.最大/最小汇集是所有汇集中最具平移性的变量（如果可以这样说，如果比较非损坏元素的数量）。