Numpy - 创建重叠的3D子阵列作为具有高效内存的向量

Question

我试图创建一个列表，其中每个子数组需要被展平的大小相同的所有重叠子阵列的列表（基于分片的分割）作为一维矢量），所以我可以利用sklearn.neighbours.BallTree中的球树。例如，如果给定一个100x100x100的图像，如果我将它分解为5x5x5重叠的补丁（子阵列），那么我将拥有96x96x96 = 884,736个图像。

但是我还没有找到任何方式这样做没有numpy分配更多的内存为每个flattened/vectorized子阵列。这似乎是因为每个子阵列在内存中不是连续的。

例如对于100x100x100的图像，如果我想将每个5x5x5补丁作为一维向量（长度为125），numpy决定在内存中为所有884,736个分配一个全新的阵列，然后它变得相当大，特别是如果我想要处理超过一个100x100x100的图像！

我会欢迎在Python/numpy中克服这种内存挑战的任何解决方案。我正在考虑创建一个numpy.ndarray对象的子类，该对象在更大的图像中存储指向修补程序位置的指针，但仅在调用时才将数据作为一维numpy数组返回（并在不使用时再次删除它）但是我还没有得到足够的关于子类化ndarray对象的细节。如果唯一的解决方案是用C/C++来实现所有的东西，我会非常失望。我很感激可以提供的任何帮助，谢谢！

Answer 1

根据你的问题，你可能已经意识到所有这些。然而，我发布这个“答案”作为更多的讨论是什么问题，因为很多人可能不知道他们......

如果你不是，但你可以做一个96x96x96x5x5x5数组，来自100x100x100图像，充当5x5x5移动窗口而不分配任何额外的内存。

但是，因为每个维度只能有一个步幅，所以无法在不复制副本的情况下将其重构为96x96x96x125阵列。

无论如何，这里有一个例子（基本上采取straight from one of my previous answers）：

import numpy as np 

def rolling_window_lastaxis(a, window): 
    """Directly taken from Erik Rigtorp's post to numpy-discussion. 
    <http://www.mail-archive.com/numpy-discussion@scipy.org/msg29450.html>""" 
    if window < 1: 
     raise ValueError, "`window` must be at least 1." 
    if window > a.shape[-1]: 
     raise ValueError, "`window` is too long." 
    shape = a.shape[:-1] + (a.shape[-1] - window + 1, window) 
    strides = a.strides + (a.strides[-1],) 
    return np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides) 

def rolling_window(a, window): 
    """Takes a numpy array *a* and a sequence of (or single) *window* lengths 
    and returns a view of *a* that represents a moving window.""" 
    if not hasattr(window, '__iter__'): 
     return rolling_window_lastaxis(a, window) 
    for i, win in enumerate(window): 
     if win > 1: 
      a = a.swapaxes(i, -1) 
      a = rolling_window_lastaxis(a, win) 
      a = a.swapaxes(-2, i) 
    return a 

x = np.zeros((100,100,100), dtype=np.uint8) 
y = rolling_window(x, (5,5,5)) 
print 'Now *y* will be a 96x96x96x5x5x5 array...' 
print y.shape 
print 'Representing a "rolling window" into *x*...' 
y[0,0,0,...] = 1 
y[1,1,0,...] = 2 
print x[:10,:10,0] # Note that *x* and *y* share the same memory! 

这产生了：

Now *y* will be a 96x96x96x5x5x5 array... 
(96, 96, 96, 5, 5, 5) 
Representing a "rolling window" into *x*... 
[[1 1 1 1 1 0 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[0 2 2 2 2 2 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0]] 

然而，正如你已经注意到，我们不能这样来重塑96x96x96x125而不创建副本。 y.shape = (96,96,96,-1)将引发错误，并且z = y.reshape((96,96,96,-1))将起作用，但会返回副本。

（相关文件是在numpy.reshape，如果这样还是很迷惑，基本上reshape将避免可能的复制时，如果它不是返回副本，而设置shape属性时，复制是不可能会引发错误。）

但是，即使您构建更高效的阵列容器，sklearn.neighbors.BallTree几乎肯定会制作临时中间副本。

你提到你正在做图像分割。为什么不研究一个更有效的算法，而不是你似乎正在尝试的相当“蛮力”？ （或者如果这不可行，请给我们更多的细节，为什么......也许有人会有更好的主意？）