运行Python脚本来读取信息。从一个新的.txt文件在已知位置生成每1秒

Question

我的情况：我有一个已知位置（目录/路径）.txt文件将被生成的每1秒，我只需要复制其内容（内容是可以直接用来放在一个MySQL查询的格式），并把它放在我的Python脚本MySQL查询。我需要保持这样持续的，即马不停蹄&始终。

的脚本是这样的：

import MySQLdb 

mydb = MySQLdb.connect(host="IP_add", user="uname", passwd="pass", db="DB_name") 
cursor = mydb.cursor() 

#Need to add things below- 

    sql = """INSERT INTO table_name VALUES('%d', 'dummy%d')""" % (i, i) //add what here ? 

    cursor.execute(sql) 
    mydb.commit() 


mydb.close() 

问题：我不知道如何去制造这种始终运行脚本，并有MySQL连接开放的只有一次，虽然有继续对我已知的文件夹/目录/路径进行持续扫描，以查找新的文本文件并保持阅读信息。它包含并将其放入MySQL INSERT查询中。 [好事情是我不需要格式化文本文件的内容，只需要读取其所包含的内容。]

请帮助！

问候， chirayu已

Answer 1

import MySQLdb 
import os 
import time 
from stat import ST_MTIME 

TIME_TO_SLEEP = 1   # to avoid CPU burning 

mydb = MySQLdb.connect(host="IP_add", user="uname", passwd="pass", db="DB_name") 
cursor = mydb.cursor() 
last_date = 0 
while True:      # or what you want as stop condition 
    time.sleep(TIME_TO_SLEEP) 
    stat = os.stat(filename) 
    if stat[ST_MTIME] > last_date: # check the last modification date 
     last_date = stat[ST_MTIME] # if more recent, store the last date 
     with open(filename) as f: # open the file 
      sql = f.read()   # put the content in the sql data base 
      if sql: 
       cursor.execute(sql) 
       mydb.commit() 

mydb.close() 

Answer 2

您还可以使用MySQL命令。 Load data infile。

这将做你想做的太多，速度远远超过单个刀片会做，再加上你不需要任何Perl代码读取线。

例

sql = """LOAD DATA INFILE '/var/test/test1.txt' INTO TABLE table1""" 
cursor.execute(sql) 

LOAD DATA INFILE拥有大量的用于场和行分隔符选项，检查出来于：
http://dev.mysql.com/doc/refman/5.1/en/load-data.html

加载包含

6666, 'test' 

一个文件

使用

LOAD DATA INFILE 'c:/test.txt' INTO TABLE `test` 
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\'' 
LINES TERMINATED BY '\r\n'; 

注意使用正斜线上的文件路径（甚至在Windows上）和'\''把一个单引号两个引号里面'。行结束符对于Windows是正确的，Linux需要LINES TERMINATED BY '\n'。

如果你真的很懒
做一个MySQL事件。

DELIMITER $$ 

CREATE EVENT import_file  
ON SCHEDULE 
EVERY 1 MINUTE     
DO BEGIN 
    LOAD DATA INFILE 'c:/test.txt' INTO TABLE `test` IGNORE 
    FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\'' 
    LINES TERMINATED BY '\r\n'; 
END$$ 

DELIMITER ; 

的IGNORE关键字将跳过触发一个主键或唯一键冲突，所以它不会试图导入这些项目领域。
定义为唯一以防止MySQL的从导入重复条目正确的字段。

有关事件的
更多信息请参阅：http://dev.mysql.com/doc/refman/5.1/en/create-event.html