2017-04-25 86 views
0

我有一个文件夹,其中包含一组具有相同结构的文件.txt。使用mysql或python代码将一组文本文件导入到mysql

该文件夹目录为E:\数据导出

其中包含1000 .txt文件:text1.txt,text2.txt,.... 每个txt文件包含一个的价格数据。数据每天更新。一个.txt文件的一个例子是如下

Ticker,Date/Time,Open,High,Low,Close,Volume 
AAA,7/15/2010,19.581,20.347,18.429,18.698,174100 
AAA,7/16/2010,19.002,19.002,17.855,17.855,109200 
AAA,7/19/2010,19.002,19.002,17.777,17.777,104900 
.... 

我的问题是,我想:

  1. 加载的所有文件到MySQL数据库通过一行代码,我能做到一个由MySql命令行中的一个,但不知道如何一次导入到MySql中的一个表中(我已经创建了表)
  2. 每天,当我得到新数据时,我怎么才能只将新数据更新为MySql中的表格

我想用Python或MySql来获得解决方案。我曾尝试谷歌和应用一些解决方案,但不能成功,该数据不加载到MySQL

回答

1
  1. 你可以使用Python包pandas

    read_csvDataFrame并使用to_sql方法适当conschema读取数据。

  2. 您将不得不跟踪导入的内容。例如,你可以将它保存在第1032个文件中最后一个导入的第54行的文件或数据库中。并执行读取其余部分并导入的更新。