背景消除如何帮助减少CNN中的计算？

Question

我在很多论文中看到，预处理背景删除有助于减少计算量。但为什么会这样呢？我的理解是，无论CNN是如何填充的，0或积极的，他都可以在矩形窗口上工作。

查看this为例。

Answer 1

在您提供的论文中，他们似乎并未将整个图像传递到网络。相反，他们似乎是从非白色背景中选择较小的补丁。这是有道理的，因为它可以减少数据中的噪音，但同时也会降低计算复杂性，因为它对完全连接的层具有影响。

假设输入图像是大小h*w的。在你的CNN，图像经过一系列卷积和最大poolings，并作为一个结果，第一完全连接层之前权，你最终大小

sz=m*(h/k)*(w/d) 

的特征图，其中m是特征平面的数目，并且其中k和d取决于层的数量，每个卷积和max池模块（例如卷积核的大小等）的参数。通常，我们将有d==k。现在，假设你将这个馈送给一个完全连接的层，产生一个参数向量q。这是什么层未basicaly是一个矩阵乘法

A*x 

其中A是大小q*sz的矩阵，x是写为载体只是你的特征图。

现在，假设您将大小为(h/t)*(w/t)的补丁传递给网络。你有大小

sz/(t^2) 

的特征图鉴于他们的数据集的图像的大小结束了，这是参数的数量大大减少。此外，小补丁也意味着更大的批次，并且这也可以加速训练（更好的梯度逼近）。

我希望这会有所帮助。

编辑后，@ wlnirvana的评论：是的，补丁大小是一个超参数。在我给出的例子中，它是通过选择t来设置的。鉴于数据集中图像的大小，我会说像t>=6这样的东西是现实的。至于如何这与背景去除，引用的文件（3.1节）：

“以减少计算时间和集中我们的分析在幻灯片上最有可能包含癌症转移的地区......”

这意味着他们只在非背景区域选择补丁。这是有道理的，因为向网络传递完全白色的补丁只会浪费时间（如图1所示，如果您随机选择它们而不移除背景，则可以有很多白色/灰色/无用补丁）。我没有发现任何解释如何在他们的论文中进行色块选择，但是我假定在非背景区域中选择多个像素p_1,...,p_n，并考虑n大小为(h/t)*(w/t)的色块，它们中的每一个都会使感。