2017-09-02 59 views
1

数据存在日期,打开,高,低,关闭,卷,并且当前存储在.csv文件中。目前它正在每分钟更新一次,文件的时间越来越长,越来越多。一个问题是,当我需要从数据中获取500个观察值时,我需要导入整个.csv文件,这是一个问题。特别是当我需要快速访问数据时。存储财务数据的最有效方式(Python)

在Python中,我主要在数据框或面板中使用数据。

+0

怎么样使用像MySQL/PostgreSQL的数据库/ ... –

+0

你可能想看看['pandas'](http://pandas.pydata.org/)库。 –

+0

@WillemVanOnsem是的,我想过,但你会用桌子吗?是否有可能只检索最后的xxx观察值? – Bondeaux

回答

0

我也建议使用数据库,更新数据库中的表格比csv文件更方便,而且如果您有大量的观察数据,您将能够更快地访问/操作您的数据。

另一种解决方案是将单独的更新保存在单独的.csv文件中。 您仍然可以保留主文件(定期更新的文件),同时为每个更新创建单独的文件。

+0

有没有一个你对数据库推荐的Python友好'提供者'? – Bondeaux

+0

尝试查看SQL Alchemy(它允许将代码从底层数据库中提取出来,最上面提供了核心和ORM模式)。另一个解决方案是使用一个特定的数据库的Python驱动程序,你只是谷歌。 –

相关问题