张量流中的多级特征融合

我想知道怎样才能将合并为两层不同的空间空间Tensorflow。张量流中的多级特征融合

例如::

batch_size = 3 

input1 = tf.ones([batch_size, 32, 32, 3], tf.float32) 
input2 = tf.ones([batch_size, 16, 16, 3], tf.float32) 

filt1 = tf.constant(0.1, shape = [3,3,3,64]) 
filt1_1 = tf.constant(0.1, shape = [1,1,64,64]) 

filt2 = tf.constant(0.1, shape = [3,3,3,128]) 
filt2_2 = tf.constant(0.1, shape = [1,1,128,128]) 

#first layer 
conv1 = tf.nn.conv2d(input1, filt1, [1,2,2,1], "SAME") 
pool1 = tf.nn.max_pool(conv1, [1,2,2,1],[1,2,2,1], "SAME") 

conv1_1 = tf.nn.conv2d(pool1, filt1_1, [1,2,2,1], "SAME") 
deconv1 = tf.nn.conv2d_transpose(conv1_1, filt1_1, pool1.get_shape().as_list(), [1,2,2,1], "SAME") 

#seconda Layer 
conv2 = tf.nn.conv2d(input2, filt2, [1,2,2,1], "SAME") 
pool2 = tf.nn.max_pool(conv2, [1,2,2,1],[1,2,2,1], "SAME") 

conv2_2 = tf.nn.conv2d(pool2, filt2_2, [1,2,2,1], "SAME") 
deconv2 = tf.nn.conv2d_transpose(conv2_2, filt2_2, pool2.get_shape().as_list(), [1,2,2,1], "SAME")

的deconv1形状是[3，8,8，64]和deconv2形状为[3，4，4，128]。这里我不能使用tf.concat来组合deconv1和deconv2。那我该怎么做呢？

编辑

这对于我试图实现建筑形象::它是相关型号这篇论文::

七。他，W.，Zhang，X.Y.，Yin，F.，& Liu，C.L。（2017）。 Deep Direct 回归多面向场景文本检测。的arXiv预印本的arXiv：1703.08289

来源

2017-10-13 CCCC

第一个答案出现在我的脑海里，基于Tensorflow API，你不能做这个连接操作。由于可以在一个轴上完成concat（即轴1上的tf.concat（[t3，t4]，1）），所以另一个轴应该具有相同的形状。让我知道你为什么要这样做，你的目的是什么？ –

我尝试做对象检测。该方法使用一些卷积层，然后使用池层（每个conv层直接跟随池层）。然后我使用解卷积层（UpSample），每个解卷积层采用不同的池层，例如deconv1以pool1为输入，等等。我的问题是在下一步：我怎样才能结合（融合）这些解卷积层？ – CCCC

你不能这样做，你不能连接两个不同形状的矩阵，这些矩阵由不同的合并图层产生。编辑你的问题并发布你想要使用的体系结构，我会给你写最后的答案，并指出如何使用瓶颈管道体系结构，如下所示：https://arxiv.org/pdf/1701.03056.pdf –

我检查你点的纸和有它，考虑输入图像是该网络规模H x W（高度和宽度），我在每个图层的边上写入输出图像的大小。现在看看我将输入箭头圈入该层的最底层，让我们来检查一下。该层有两个输入，第一个来自前一层，形状为H/2 x W/2，第二层来自第一个池层，其大小也为H/2 x W/2。这两个输入合并在一起（不是拼接，而是基于纸张叠加在一起）并进入最后的Upsample图层，该图层输出尺寸为H x W的图像。

其他Upsample层也具有相同的输入。正如你所看到的，所有的合并操作都有匹配形状。此外，所有合并图层的过滤器编号均为128，与其他编辑层一致。

您也可以使用concat代替合并，但它会产生更大的过滤器编号，请注意这一点。即合并两个具有形状的矩阵H/2 x W/2 x 128产生相同的形状H/2 x W/2 x 128，但在最后一个轴上连接两个矩阵，其形状H/2 x W/2 x 128结果为H/2 x W/2 x 256。

我尽量引导你，希望有用。

来源

2017-10-13 18:42:34

非常感谢阿里，这是一个明确的解释，它是有用的 – CCCC

张量流中的多级特征融合

回答

相关问题