Theano中的卷积是否旋转滤波器？

Question

我有一个3通道5×5的图像是这样的：

1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 

和3-通道3×3过滤器是这样的：

10 20 30 0.1 0.2 0.3 1 2 3 
40 50 60 0.4 0.5 0.6 4 5 6 
70 80 90 0.7 0.8 0.9 7 8 9 

当卷积与图像过滤器，我期待这样的输出：

369.6 514.8 316.8 
435.6 594. 356.4 
211.2 277.2 158.4 

然而，Theano（使用keras）给了我这样的输出：

158.4 277.2 211.2 
356.4 594. 435.6 
316.8 514.8 369.6 

看来输出旋转180度，我不知道为什么会发生这种情况，我怎么才能得到正确的答案。这里是我的测试代码：

def SimpleNet(weight_array,biases_array): 
    model = Sequential() 
    model.add(ZeroPadding2D(padding=(1,1),input_shape=(3,5,5))) 
    model.add(Convolution2D(1, 3, 3, weights=[weight_array,biases_array],border_mode='valid',subsample=(2,2))) 

    return model 
im = np.asarray([ 
     1,1,1,1,1, 
     1,1,1,1,1, 
     1,1,1,1,1, 
     1,1,1,1,1, 
     1,1,1,1,1, 
     2,2,2,2,2, 
     2,2,2,2,2, 
     2,2,2,2,2, 
     2,2,2,2,2, 
     2,2,2,2,2, 
     3,3,3,3,3, 
     3,3,3,3,3, 
     3,3,3,3,3, 
     3,3,3,3,3, 
     3,3,3,3,3]) 

weight_array = np.asarray([ 
       10,20,30, 
       40,50,60, 
       70,80,90, 
       0.1,0.2,0.3, 
       0.4,0.5,0.6, 
       0.7,0.8,0.9, 
       1,2,3, 
       4,5,6, 
       7,8,9]) 

im = np.reshape(im,[1,3,5,5]) 
weight_array = np.reshape(weight_array,[1,3,3,3]) 
biases_array = np.zeros(1) 

model = SimpleNet(weight_array,biases_array) 

sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True) 
model.compile(optimizer=sgd, loss='categorical_crossentropy') 
out = model.predict(im) 
print out.shape 
print out 

Answer 1

这是卷积的定义。它的优点是，如果您将仅包含零的图像进行卷积，卷积将在该位置放置一个过滤器的副本。

Theano完成这些卷积，如数学定义。这意味着在使用图像补丁获取点产品之前翻转过滤器（操作是filter[:, :, ::-1, ::-1]）。请注意，这些不是180度旋转，至少不是一般的旋转。

看来你正在寻找的是互相关，它是在图像的每个点上采用点产品与非翻转版本的滤镜。

另请参阅this answer其中theano.tensor.nnet.conv2d显示与scipy对应物完全相同。