从数据库读取数据并写入本地驱动器，大数据

Question

我想从netezza databse获取5 GB的数据并将其写入本地驱动器。我试过以下：

pd.concat([chunk for chunk in (pd.read_sql("""SELECT * FROM table""",conn,chunksize=10000))]).to_sql('table1',conn1) 

这需要大量的时间，几乎一天。任何人都可以建议一个替代方案来快速完成这个过程，所以我可以处理25GB的更大数据？

Answer 1

如果只从DB驱动器，那么你可以用它来存储数据的要求以下选项 -

nzsql -u user -pw pwd -db database -o abc.dat -c "sql" 

或者

nzsql -u用户-pw PWD -db数据库-c “SQL” > abc.dat

Answer 2

我推荐使用transient external table。

CREATE EXTERNAL TABLE 'c:\localFileName.dat' USING (RemoteSource 'ODBC' delim '|') 
as SELECT * FROM table;