Java列表v/s数据库列表哪一个很贵？

Question

我需要创建一个约需要插入数据库的50K记录列表。

我能想到的两种方法是在性能

方面更好的办法

1. 存储过程，它接受这些对象的名单，将它们插入Java和使用每一条记录调用数据库插入
2. 建构列表MyBatis的

Answer 1

表现最好的将来自插入语句的批次，如下所示：

insert into my_table (c1, c2, c3) values 
    (v1, v2, v3), 
    (v4, v5, v6), 
    ... 

如果您将它分成50,000个插入语句，您将获得更差的性能。插入语句越少越好。每个插入语句都需要mysql解析查询，并获取并释放必要表上的锁，更不用说启动和提交事务。例如，如果您可以在500行的100个块中完成此操作，则会削减49,900x这个开销。

如果您想使用LOAD DATA INFILE命令，您甚至可以进一步提高性能，但这会使事情变得复杂一些，根据您的具体要求可能不值得。

Answer 2

你最好的表现将是某种形式的批量插入不管是

多记录插入：使用本地PL

insert into your_table(c1,c2,c3) 
select v1, v2, v3 from dual union all 
select v4, v5, v6 from dual union all 
... 
select vN, vO, vP from dual; 

或

insert all 
into your_table(c1,c2,c3) values (v1,v2,v3) 
into your_table(c1,c2,c3) values (v4,v5,v6) 
... 
into your_table(c1,c2,c3) values (vN,vO,vP) 
select * from dual; 

批量插入/ SQL集合：

FORALL i IN your_collection.first .. your_collection.last 
    INSERT INTO your_table(c1,c2,c3) 
    VALUES(your_collection(i).v1 
     , your_collection(i).v2 
     , your_collection(i).v3); 

或

FORALL i IN INDICES OF your_collection 
    INSERT INTO your_table(c1,c2,c3) 
    VALUES(your_collection(i).v1 
     , your_collection(i).v2 
     , your_collection(i).v3); 

或使用绑定阵列批量插入：

BEGIN 
    FORALL i IN :lower .. :upper 
    INSERT INTO your_table(c1,c2,c3) 
    VALUES(:v1(i), :v2(i), :v3(i)); 
END; 

Answer 3

我想用PreparedStatement和批量插入是你最好的选择。 PreparedStatement的好处在于，sql被缓存在RDBMS服务器上，批量插入可以以批处理的形式完成。

喜欢的东西：

private void doInsert(Connection conn, List<Data> data){ 
    String sql = "INSERT INTO T (A,B,C) VALUES (?,?,?)"; 
    PreparedStatement ps = conn.prepareStatement(sql); 
    int count = 0; 
    for(Data d : data) { 
     count++; 
     ps.setString(1, data.getA()); 
     ps.setString(2, data.getB()); 
     ps.setString(3, data.getC()); 
     ps.addBatch(); 
     if (count%1000 == 0) { 
      ps.executeBatch(); 
     } 
    } 
    ps.executeBatch(); 
    ps.close(); 
}