3D图像数据集的特征提取

Question

假设通过使用SIFT，SURF或MSER方法进行2D图像特征提取的工作流，然后使用编码后的词袋/特征并随后用于训练分类器。

我想知道是否有3D数据集的类似方法，例如3D数据的MRI数据。在处理2D图像时，每个图像都表示一个具有要检测和编制索引功能的实体。但是，在3D数据集中，是否可以从三维实体中提取特征？这是否必须通过将3D图像分解为多个2D图像（切片）来逐片完成？或者是否有一种方法可以在保留3D信息的同时将3D维度降至2D？

任何指针将不胜感激。

Answer 1

您可以通过将3D卷传递到预先训练的3D卷积神经网络来执行特征提取。由于预先训练的3D CNN很难找到，因此您可以考虑在类似但不同的数据集上训练您自己的3DNN。

Here是一个链接代码的一个3D有线网络在千层面。作者使用VGG和Resnet的3D CNN版本。

或者，您可以对卷的每个切片执行2D特征提取，然后将每个切片的特征组合起来，使用PCA将维度降至合理的值。为此，我建议使用ImageNet预先训练好的Resnet-50或VGG。

在凯拉斯，这些可以找到here。

Answer 2

假设一个灰度的二维图像，可以在数学上被描述为一个矩阵。将矩阵的概念推广到理论结果tensors（非正式地你可以想象一个多维数组）。即RGB二维图像被表示为尺寸为[宽度，高度，3]的张量。此外，RGB 3D图像被表示为尺寸为[宽度，高度，深度，3]的张量。此外，就像矩阵的情况一样，您也可以执行张量张量乘法。

例如，考虑以二维图像作为输入的典型神经网络。除了矩阵矩阵乘法（尽管节点上的元素非线性操作），这样的网络基本上不做其他事情。以同样的方式，一个神经网络通过执行张量张量乘法运算在张量上。

现在回到您的特征提取问题：确实，张量问题是它们的高维度。因此，现代研究问题认为张量的有效分解保留了最初的（最有意义的）信息。为了从张量中提取特征，张量分解方法可能是一个好的开始，以减少张量的等级。在机器学习张量的一些论文有：

Tensor Decompositions for Learning Latent Variable Models

Supervised Learning With Quantum-Inspired Tensor Networks

Optimal Feature Extraction and Classification of Tensors via Matrix Product State Decomposition

希望这有助于，即使背后的数学是不容易的。