如果查询结果太大怎么办

-1

我正在使用mysql连接器的python3从mysql数据库进行查询。我有这么多的数据，如果我收集最近7天的数据，查询的大小将超过10GB，因此强迫我的python脚本被杀害。我想通常我们可以流式传输结果，但是我没有找到一种方法将查询结果流式传输到mysql conncetor中。有什么其他方式可以解决问题吗？如果查询结果太大怎么办

来源

2016-10-11 Bing Gan

上附带一个示例，可能会通过“select into”将其阻塞到文件中。这就是说，在进入[XY问题]（http://meta.stackexchange.com/questions/66377/what-is-the-xy-problem）之前，你想要完成什么？ – Drew

您可以使用连接器光标和'fetchmany'函数https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchmany.html –

@Anthony Kong的评论是正确的。为了解决这个问题，我们可以做从https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchmany.html

fetchmany功能挖掘到代码中的点点后，我发现fetchmany函数调用许多fetchone实现“支持fetchmany”。所以我决定最后使用fetchone。此外，fetchone在文档https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchone.html

来源

2016-10-13 19:37:25

不要一次获取结果集。你可以做以下或这些组合之一：

使用LIMIT, OFFSET使用SELECT into
使用日期/时间函数生成多个文件使用SELECT into

cat所有生成多个文件生成的文件使用cat hugedata_* > hugedata.csv

来源

2016-10-11 04:50:12 MontyPython

如果查询结果太大怎么办

回答

相关问题