使用psycopg2读取csvData的好方法

我想获得一个快速即快速并且不是很多代码的方式来将csv数据导入到postgres数据库中。我正在阅读python使用csvDictreader工作正常。然后，我需要以某种方式生成代码，将代码放入表中。我想自动执行此操作，因为我的表格通常有数百个变量。（我不想直接读取到Postgres的，因为在很多情况下，我必须转换数据和Python是适合这种模式）使用psycopg2读取csvData的好方法

这是一些什么，我已经得到：

import psycopg2 
import sys 
import itertools 

import sys, csv 
import psycopg2.extras 
import psycopg2.extensions 

csvReader=csv.DictReader(open('/home/matthew/Downloads/us_gis_data/statesp020.csv', "rb"), delimiter = ',') 
#close.cursor() 
x = 0 
ConnectionString = "host='localhost' dbname='mydb' user='postgres' password='######" 
try: 
    connection = psycopg2.extras.DictConnection(ConnectionString) 
    print "connecting" 
except: 
    print "did not work" 
# Create a test table with some data 

dict_cur = connection.cursor() 

#dict_cur.execute("CREATE TABLE test (id serial PRIMARY KEY, num integer, data varchar);") 
for i in range(1,50): 
    x = x+1 
    print x 
    dict_cur.execute("INSERT INTO test (num, data) VALUES(%s, %s)",(x, 3.6))#"abc'def")) 
    ### how to I create the table and insert value using the dictreader? 

dict_cur.execute("SELECT * FROM test") 
for k in range(0,x+1): 
    rec = dict_cur.fetchone() 
    print rec['num'], rec['data']

来源

2010-08-26 Matthew

说你有字段名的列表（想必你可以从你的csv文件的头部得到这个）：

fieldnames = ['Name', 'Address', 'City', 'State']

假设他们都是VARCHAR处理，您可以创建表“表名”：

sql_table = 'CREATE TABLE TableName (%s)' % ','.join('%s VARCHAR(50)' % name for name in fieldnames) 
cursor.execute(sql_table)

您可以从字典“字典”插入行：

sql_insert = ('INSERT INTO TableName (%s) VALUES (%s)' % 
       (','.join('%s' % name for name in fieldnames), 
       ','.join('%%(%s)s' % name for name in fieldnames))) 
cursor.execute(sql_insert, dict)

或做它一气呵成，给定一个列表字典：

dictlist = [dict1, dict2, ...] 
cursor.executemany(sql_insert, dictlist)

可以将此作为必要的调整基础上，你的领域的类型和使用DictReader。

来源

2010-08-26 02:11:15 ars

Ars 谢谢我会试试这个。马修 – Matthew 2010-08-26 04:23:17

我是新手，但这对我很有用。我使用PG Admin创建'testCSV'表。

import psycopg2 as dbapi 

con = dbapi.connect(database="testpg", user="postgres", password="secret") 

cur = con.cursor() 

import csv 
csvObject = csv.reader(open(r'C:\testcsv.csv', 'r'), dialect = 'excel', delimiter = ',') 

passData = "INSERT INTO testCSV (param1, param2, param3, param4, param5) VALUES (%s,%s,%s,%s,%s);" 

for row in csvObject: 
    csvLine = row  
    cur.execute(passData, csvLine) 

con.commit()

来源

2011-04-20 18:37:26 Wogger

使用psycopg2读取csvData的好方法

回答

相关问题