如何从数据框中提取特定序列？

Question

这个问题与my previous question有关。鉴于以下数据框：

df = 
    ID TYPE VD_0 VD_1 VD_2 VD_3 VD_4 VD_5 
    1 ABC V1234 aaa bbb 456 123 564 
    2 DBC 456 A45 aaa V1234 bbb 564 
    3 ABD 456 V1234 bbb ccc 456 123 
    4 ABD ccc aaa 123 V1234 SSW 123 

还有就是VD_0目标值以下列表 - VD_5：

myList = [V1234,456,A45] 

我想只有在df有2个或更多的“序贯” occurances那些行的myList列VD_0 - VD_5,的值，但允许它们之间有任何其他值（任何其他不属于myList的值）。例如，这些允许值可能是aaa，bbb，ccc等

结果应该是这样：

result = 
    ID TYPE Col_0 Col_1 Col_2 
    1 ABC V1234 456 
    2 DBC 456  A45  V1234 
    3 ABD 456  V1234 456 

在result我想在Col_列显示从myList只值，而忽略其余的价值。

下面的代码工作正常，但它允许在不出现任何myList值之间的它并没有考虑到：

subset = df.filter(like='VD_') 

df[subset.isin(myList).rolling(2, axis=1).sum().max(axis=1)>=2] 

任何帮助将不胜感激。

Answer 1

我认为你需要检查长度为True的列和行的DataFrame的sum的boolean DataFrame。

然后是选择列问题，因此需要从df.columns通过reindex与fill_values=True添加缺少的列：

myList = ['V1234','456','A45'] 
subset = df.filter(like='VD_') 

subset1 = subset.isin(myList) 
mask1 = subset1.sum(axis=1) >= 2 
print (mask1) 

0  True 
1  True 
2  True 
3 False 
dtype: bool 

mask2 = subset1.sum() >= 2 
print (mask2) 
VD_0  True 
VD_1  True 
VD_2 False 
VD_3  True 
VD_4 False 
VD_5 False 
dtype: bool 

print (mask2.reindex(df.columns, fill_value=True)) 
ID  True 
TYPE  True 
VD_0  True 
VD_1  True 
VD_2 False 
VD_3  True 
VD_4 False 
VD_5 False 
dtype: bool 

print (df.loc[mask1, mask2.reindex(df.columns, fill_value=True)]) 
    ID TYPE VD_0 VD_1 VD_3 
0 1 ABC V1234 aaa 456 
1 2 DBC 456 A45 V1234 
2 3 ABD 456 V1234 ccc 

Answer 2

这里的另一种方式。

In [903]: df.apply(lambda x: [y for y in x if y in myList], axis=1) 
Out[903]: 
0   [V1234, 456] 
1 [456, A45, V1234] 
2 [456, V1234, 456] 
3    [V1234] 
dtype: object 

In [904]: s = df.apply(lambda x: [y for y in x if y in myList], axis=1) 

In [905]: s[s.apply(len) >= 2] 
Out[905]: 
0   [V1234, 456] 
1 [456, A45, V1234] 
2 [456, V1234, 456] 
dtype: object 

In [906]: s[s.apply(len) >= 2].apply(pd.Series) 
Out[906]: 
     0  1  2 
0 V1234 456 NaN 
1 456 A45 V1234 
2 456 V1234 456