TensorFlow卷积Nueral网络教程

Question

我要通过“专家MINST” TF教程（https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html）和我卡在这一部分：

密集互联层

现在，图像大小已经减少到7x7，我们增加了一个带有1024个神经元的完全连接图层，以允许在整个图像上进行处理。我们将池中的张量重塑为 批量矢量，乘以权重矩阵，添加偏差，并应用ReLU。

为什么数字1024？那个是从哪里来的？

我对完全连接层的理解是，它必须以某种方式恢复到原始图像大小（然后我们开始将事物插入到我们的softmax公式中）。在这种情况下，原始图像大小是高x宽x通道= 28 * 28 * 1 = 784 ...不是1024.

我在这里丢失了什么？

Answer 1

1024只是任意数量的隐藏单位。此时，网络输入减少到64个平面，每个平面尺寸为7x7像素。他们不会试图“回到原始图像大小”，他们只是声称，他们想要一个可以提取全局特征的图层，因此他们希望它能与来自最后一个图层的每个神经元密切相关（它代表您的输入空间），而以前的操作（卷积和池）则为本地特征。

因此，为了以MLP的方式处理这个问题，您需要7 * 7 * 64 = 3136个神经元。他们在上面加1024另一层，因此，如果你画你的网络，这将是

INPUT - CONV - POOL - .... - CONV - POOL - HIDDEN - OUTPUT 

28 x 28-    ....   7*7*64 1024  10 
            =3136 

在电线之间的东西的数量因此相当arbitary，他们只是实践的检验，它的作品，但你可以使用任何数量的单位在这里，或任何数量的层次。