将熊猫数据框转换为内存中类似文件的对象？

Question

我每天都会将大约2至250万条记录加载到Postgres数据库中。

然后我用pd.read_sql读取这个数据，将它变成一个数据帧，然后我做一些列操作和一些次要的合并。我将这些修改后的数据保存为一个单独的表格供其他人使用。

当我做pd.to_sql它需要永远。如果我在Postgres中保存一个csv文件并使用COPY FROM，整个过程只需要几分钟，但服务器位于另一台机器上，并且在那里传输文件是一件痛苦的事情。

使用psycopg2，它看起来像我可以使用copy_expert从批量复制中受益，但仍然使用python。如果可能，我想尽量避免写一个实际的csv文件。我可以用熊猫数据框在内存中执行此操作吗？

这是我的熊猫代码的一个例子。如果可能的话，我想添加copy_expert或其他东西以使数据保存得更快。

for date in required_date_range: 
     df = pd.read_sql(sql=query, con=pg_engine, params={'x' : date}) 
     ... 
     do stuff to the columns 
     ... 
     df.to_sql('table_name', pg_engine, index=False, if_exists='append', dtype=final_table_dtypes) 

有人可以帮助我的例子代码？我宁愿仍然使用熊猫，这将是很好的记忆。如果不是的话，我只会写一个csv临时文件并且这样做。

编辑 - 这里是我的最终代码，它的工作原理。每个日期（数百万行）只需要几百秒而不是几个小时。

to_sql = “” “COPY％S FROM STDIN WITH CSV HEADER” “”

def process_file(conn, table_name, file_object): 
    fake_conn = cms_dtypes.pg_engine.raw_connection() 
    fake_cur = fake_conn.cursor() 
    fake_cur.copy_expert(sql=to_sql % table_name, file=file_object) 
    fake_conn.commit() 
    fake_cur.close() 


#after doing stuff to the dataframe 
    s_buf = io.StringIO() 
    df.to_csv(s_buf) 
    process_file(cms_dtypes.pg_engine, 'fact_cms_employee', s_buf) 

Answer 1

Python模块io（docs）具有用于类文件对象必需的工具。

import io 

# text buffer 
s_buf = io.StringIO() 

# saving a data frame to a buffer (same as with a regular file): 
df.to_csv(s_buf) 

编辑。 （我忘了），以便事后从缓冲区读取，它的位置应设置为开头：

s_buf.seek(0) 

我不熟悉psycopg2但根据docs都copy_expert和copy_from可以使用，例如：

cur.copy_from(s_buf, table) 

（对于Python 2，参见StringIO。）

Answer 2

我不得不实现从溶液中的问题ptrj。

我认为这个问题源于熊猫设置缓冲区的位置到最后。

见如下：

from StringIO import StringIO 
df = pd.DataFrame({"name":['foo','bar'],"id":[1,2]}) 
s_buf = StringIO() 
df.to_csv(s_buf) 
s_buf.__dict__ 

# Output 
# {'softspace': 0, 'buflist': ['foo,1\n', 'bar,2\n'], 'pos': 12, 'len': 12, 'closed': False, 'buf': ''} 

注意，POS是12.我不得不把POS机设置为0，以使后续copy_from命令工作

s_buf.pos = 0 
cur = conn.cursor() 
cur.copy_from(s_buf, tablename, sep=',') 
conn.commit()