红移来DASK数据帧

Question

有没有人有一个很好的整洁和稳定的方式来实现相当于：

pandas.read_sql(sql, con, chunksize=None) 

和/或

pandas.read_sql_table(table_name, con, schema=None, chunksize=None) 

连接与SQLAlchemy的& psycopg2红移，直接进入dask DataFrame？

该解决方案应该能够处理大量数据

Answer 1

的你可以考虑在dask.dataframe的read_sql_table功能。

http://dask.pydata.org/en/latest/dataframe-api.html#dask.dataframe.read_sql_table

>>> df = dd.read_sql('accounts', 'sqlite:///path/to/bank.db', 
...     npartitions=10, index_col='id') # doctest: +SKIP 

这依赖于pandas.read_sql_table函数内部，所以应该可以用同样的限制进行操作，但现在你要求提供多个分区和索引列。