HDFStore：table.select和RAM使用

Question

我想从大约1 GB的HDFStore表中选择随机行。当我询问大约50个随机行时，RAM使用情况爆发。

我正在使用熊猫0-11-dev, python 2.7, linux64。

在第一种情况下的内存使用适合的chunk

with pd.get_store("train.h5",'r') as train: 
for chunk in train.select('train',chunksize=50): 
    pass 

大小在第二种情况下，它似乎是整个表被加载到RAM

r=random.choice(400000,size=40,replace=False) 
train.select('train',pd.Term("index",r)) 

在后一种情况下， RAM使用量适合等效chunk尺寸

r=random.choice(400000,size=30,replace=False)  
train.select('train',pd.Term("index",r)) 

我很困惑，为什么从30行到40行随机行会导致RAM使用量急剧增加。

注创建诸如当表已被索引，使用下面的代码索引=范围（NROWS（表））：

def txtfile2hdfstore(infile, storefile, table_name, sep="\t", header=0, chunksize=50000): 
    max_len, dtypes0 = txtfile2dtypes(infile, sep, header, chunksize) 

    with pd.get_store(storefile,'w') as store: 
     for i, chunk in enumerate(pd.read_table(infile,header=header,sep=sep,chunksize=chunksize, dtype=dict(dtypes0))): 
      chunk.index= range(chunksize*(i), chunksize*(i+1))[:chunk.shape[0]] 
      store.append(table_name,chunk, min_itemsize={'values':max_len}) 

感谢洞察

编辑以ANSWER Zelazny7

这是我用来写Train.csv到train.h5的文件。我写的Zelazny7代码此使用的元素从How to trouble-shoot HDFStore Exception: cannot find the correct atom type

import pandas as pd 
import numpy as np 
from sklearn.feature_extraction import DictVectorizer 


def object_max_len(x): 
    if x.dtype != 'object': 
     return 
    else: 
     return len(max(x.fillna(''), key=lambda x: len(str(x)))) 

def txtfile2dtypes(infile, sep="\t", header=0, chunksize=50000): 
    max_len = pd.read_table(infile,header=header, sep=sep,nrows=5).apply(object_max_len).max() 
    dtypes0 = pd.read_table(infile,header=header, sep=sep,nrows=5).dtypes 

    for chunk in pd.read_table(infile,header=header, sep=sep, chunksize=chunksize): 
     max_len = max((pd.DataFrame(chunk.apply(object_max_len)).max(),max_len)) 
     for i,k in enumerate(zip(dtypes0[:], chunk.dtypes)): 
      if (k[0] != k[1]) and (k[1] == 'object'): 
       dtypes0[i] = k[1] 
    #as of pandas-0.11 nan requires a float64 dtype 
    dtypes0.values[dtypes0 == np.int64] = np.dtype('float64') 
    return max_len, dtypes0 


def txtfile2hdfstore(infile, storefile, table_name, sep="\t", header=0, chunksize=50000): 
    max_len, dtypes0 = txtfile2dtypes(infile, sep, header, chunksize) 

    with pd.get_store(storefile,'w') as store: 
     for i, chunk in enumerate(pd.read_table(infile,header=header,sep=sep,chunksize=chunksize, dtype=dict(dtypes0))): 
      chunk.index= range(chunksize*(i), chunksize*(i+1))[:chunk.shape[0]] 
      store.append(table_name,chunk, min_itemsize={'values':max_len}) 

应用为

txtfile2hdfstore('Train.csv','train.h5','train',sep=',') 

Answer 1

这是一个已知的问题，在这里看到的参考：https://github.com/pydata/pandas/pull/2755

本质上查询变成numexpr表达评估。有一个问题 ，在这里我不能将很多or条件传递给numexpr（它取决于生成的表达式的 的总长度）。

所以我只是限制了我们传递给numexpr的表达式。如果它超过了一定数量的or条件，那么查询将作为过滤器完成，而不是内核选择。基本上这意味着表格被读取并重新编制索引。

这是在我的增强列表中：https://github.com/pydata/pandas/issues/2391（17）。

作为一种解决方法，只需将您的查询拆分为多个并对结果进行连接即可。应该更快，并使用恒定数量的内存