循环不适用于SQL更新语句（mysqldb）

我有一个名为'testfolder'的文件夹，其中包含两个文件'Sigurdlogfile'和'2004ADlogfile'。每个文件都有一个名为entries的字符串列表。我需要在两者上运行我的代码，并使用glob来执行此操作。我的代码为每个文件创建一个字典，并存储使用正则表达式提取的数据，其中字典密钥存储在下面的commonterms中。然后它将每个字典插入到一个mysql表中。它成功地完成了所有这些，但是我的第二个sql语句没有插入它应该如何（每个文件）。循环不适用于SQL更新语句（mysqldb）

import glob 
import re 
files = glob.glob('/home/user/testfolder/*logfile*') 

commonterms = (["freq", "\s?(\d+e?\d*)\s?"], 
       ["tx", "#txpattern"], 
       ["rx", "#rxpattern"], ...) 

terms = [commonterms[i][0] for i in range(len(commonterms))] 
patterns = [commonterms[i][1] for i in range(len(commonterms))] 

def getTerms(entry): 
    for i in range(len(terms)): 
     term = re.search(patterns[i], entry) 
     if term: 
      term = term.groups()[0] if term.groups()[0] is not None else term.groups()[1] 
     else: 
      term = 'NULL' 
     d[terms[i]] += [term] 
    return d 

for filename in files: 
    #code to create 'entries' 
    objkey = re.match(r'/home/user/testfolder/(.+?)logfile', filename).group(1) 

    d = {t: [] for t in terms} 

    for entry in entries: 
     d = getTerms(entry) 

    import MySQLdb 
    db = MySQLdb.connect(host='', user='', passwd='', db='') 
    cursor = db.cursor() 
    cols = d.keys() 
    vals = d.values() 

    for i in range(len(entries)): 
     lst = [item[i] for item in vals] 
     csv = "'{}'".format("','".join(lst)) 
     sql1 = "INSERT INTO table (%s) VALUES (%s);" % (','.join(cols), csv.replace("'NULL'", "NULL")) 
     cursor.execute(sql1) 

#now in my 2nd sql statement I need to update the table with data from an old table, which is where I have the problem... 

    sql2 = "UPDATE table, oldtable SET table.key1 = oldtable.key1, 
table.key2 = oldtable.key2 WHERE oldtable.obj = %s;" % repr(objkey) 
    cursor.execute(sql2) 

    db.commit() 
    db.close()

的问题是，在第二个SQL语句，它最终只从objkey S的一个插入数据到表中的所有列，但我需要它，这取决于插入不同的数据文件代码当前正在运行。我无法弄清楚为什么这是因为我已经在我的for filename in files循环内定义了objkey。我怎样才能解决这个问题？

来源

2017-09-18 Wynne T

你的第二个查询在'table'和'oldtable'之间没有任何关系，所以它做了一个完整的交叉产品。 – Barmar

你应该学会做准备的陈述，而不是做字符串替换。 – Barmar

@Barmar你是什么意思？它从旧表中为'Sigurdlogfile'插入正确的数据，但问题在于它也会从2004AD –

而不是单独INSERT和UPDATE，做他们一起合并来自旧表的字段。

for i in range(len(entries)): 
    lst = [item[i] for item in vals] 
    csv = "'{}'".format("','".join(lst)) 
    sql1 = """INSERT INTO table (key1, key2, %s) 
      SELECT o.key1, o.key2, a.* 
      FROM (SELECT %s) AS a 
      LEFT JOIN oldtable AS o ON o.obj = %s""" % (','.join(cols), csv.replace("'NULL'", "NULL"), repr(objkey)) 
    cursor.execute(sql1)

来源

2017-09-18 21:16:40 Barmar

谢谢你解决了这个问题的覆盖。但是我现在正在运行其他的东西 - 有时一个特定的文件在旧表中没有任何数据（所以如果我运行命令'select * from oldtable where obj ='some object''，它会返回一个空集）。在这种情况下，它会跳过它，不会输入任何数据，即使是从字典中输入。但是，我仍然会如何获取要插入的其他数据，并将那些key1和key2字段保留为“NULL”？ –

我已经更新了答案，以说明如何使用'LEFT JOIN'来做到这一点。 – Barmar

循环不适用于SQL更新语句（mysqldb）

回答

相关问题