MATLAB中的ismember（）函数的快速版本

Question

我的问题是关于寻找一种替代方法来以更快的方式在MATLAB中执行什么ismember()。

这里是我的问题：

M [92786253*1] (a: roughly 100M rows) 
x [749*1]  (b: # of rows can vary from 100 to 10K) 

我想找到b行是共同存在于a（的行索引）。 对于不同版本的b，此操作需要重复约10M次。

的一般做法：

tic 
ind1 = ismember(M,x); 
toc 

Elapsed time is 0.515627 seconds. 

快速方法：

tic 
n = 1; 
ind2 = find(any(all(bsxfun(@eq,reshape(x.',1,n,[]),M),2),3)); 
toc 

Error using bsxfun 
Requested 92786253x1x749 (64.7GB) array exceeds maximum array size preference. 
Creation of arrays greater than this limit may take a long time and cause MATLAB to become unresponsive. 
See array size limit or preference panel for more information. 

Error in demo_ismember_fast (line 23) 
ind2 = find(any(all(bsxfun(@eq,reshape(x.',1,n,[]),M),2),3)) 

第二种方法通常比正常的速度更快的15-20倍，但是在这种情况下，我不能用它来限制内存。有没有任何建议如何加快这一行动？感谢您与我分享专家意见！

Answer 1

如果您可以使用排序的a这里有两种替代方法。在开始100M迭代之前，一些需要的输入变量和输出变量ind被初始化，并且在每次迭代ind被修改，并且最后所有元素被设置为false;

interp1：

s=sort(M); 
edge = [-Inf s(2:end) Inf]; 
v = [1:numel(M) numel(M)]; 
ind = false(size(M)); 
%for ... 100M iterations 
    tic 
    bin = interp1(edge,v,x,'previous'); 
    ind(bin)= ind(bin)==x; 
    toc 
    %... 
    ind(bin) = false;%at the end of each loop set all elements of ind to 0; 
%end 

histcounts：

​​

Answer 2

您可能会发现内部（内置）ismembc功能非常有用 - 它可以是一个数量级比ismember快：http://UndocumentedMatlab.com/blog/ismembc-undocumented-helper-function

不是e ismembc只适用于排序的非稀疏非Nan数字数据。