插入数据到数据库循环性能

Question

我想写Windows应用程序从Fox Pro数据库获取数据，并插入到Sql Server 2008数据库。

我写了代码，但它工作得很慢。 rowsCount超过100万级 我下面的代码：

OleDbConnection cn = new OleDbConnection(foxProConnectionString); 
SqlConnection cSql = new SqlConnection(sqlServerConnectionString); 
cSql.Open(); 

OleDbCommand ocmd = new OleDbCommand("Select * from " + table, cn); 
OleDbDataAdapter sda = new OleDbDataAdapter(ocmd); 
DataTable dt = new DataTable(); 
sda.Fill(dt); 
SqlCommand mySqlcmd = new SqlCommand(); 
mySqlcmd.Connection = cSql; 

for (int i = 0; i < dt.Rows.Count; i++) 
{ 
    mySqlcmd.CommandText = "INSERT INTO sqlTable (column1, column2, column3) VALUES ("+dt.Rows[i][dt.Columns.IndexOf("column1")] + ",'" 
              + DoOper1(dt.Rows[i]dt.Columns.IndexOf("column2")]) + "','" 
              + dt.Rows[i][dt.Columns.IndexOf("column3")] + "')"; 

    mySqlcmd.ExecuteNonQuery(); 
} 

我不能使用批量复制，数据库中的列顺序可能会在某些源表不同。 此外，我得到错误：

The CLR has been unable to transition from COM context 0x54afe8 to COM context 0x54b158 for 60 seconds. The thread that owns the destination context/apartment is most likely either doing a non pumping wait or processing a very long running operation without pumping Windows messages. This situation generally has a negative performance impact and may even lead to the application becoming non responsive or memory usage accumulating continually over time. To avoid this problem, all single threaded apartment (STA) threads should use pumping wait primitives (such as CoWaitForMultipleHandles) and routinely pump messages during long running operations.

我怎么能解决一组我的问题吗？

Answer 1

我认为有办法解决大容量复制的问题，我建议您/我们通过这些解决方案来解决问题，而不是试图研究缓慢技术为什么会很慢。你说你不能使用批量复制的原因是因为在某些源表中数据库的列顺序可能不同。我对此的回应是，为什么这很重要？如果您使用的是SqlBulkCopy对象，那么您是否完全控制源表中的列映射到目标表中的列的方式？ （您是否尝试过使用SqlBulkCopy对象？）您也可以说您可以收到有关无响应程序的错误消息。看起来它和COM有关。我不明白为什么这对于批量复制而言是一个需要更长时间才能执行的问题。如果有必要，您可能必须以较小的批次执行批量复制操作（也许在开始下一步之前完全完成/提交批次？），以便程序不会在其执行过程中“失去控制”。这是否有助于或引发任何可能导致答案的进一步问题？

编辑： 你能做这样的事吗？

System.Data.SqlClient.SqlBulkCopy bc = new System.Data.SqlClient.SqlBulkCopy("..."); 

// Begin a loop to process managable-size batches of source data. 

using (System.Data.DataTable dtTarget = new System.Data.DataTable("sqlTable")) 
{ 

    // Populate dtTarget with the data as it should appear 
    // on the SQL Server side. 
    // If the mapping is simple, you may be able to use 
    // bc.ColumnMappings instead of manually re-mapping. 

    bc.DestinationTableName = "sqlTable"; 
    bc.WriteToServer(dtTarget); 
} 

// End loop.