在SQL Server中保存和查询海量数据

Question

我从事金融机构的项目工作。在这家公司，数据库分布在不同的分支机构。我们希望建立一个数据中心并将所有数据库都转换为一个数据库。但是在这种情况下，我们有一个拥有超过1亿条记录的数据库表。我认为这个表中的SQL操作（ex insert，update，select）将会太慢并且代价太高。哪些场景可以帮助我？我们在项目中使用实体框架的代码优先方法。

Answer 1

A）1亿对SQL服务器来说不算太多。使用适当的索引，磁盘拓扑，内存和CPU分配以及良好的DBA来监督一段时间。事情应该没问题。

b）初始迁移不是EF主题。我不会推荐EF来完成这项任务。 EF可以创建数据库，但使用工具来加载数据。 Sample SO post

c）测试和/或对具有1亿行的SQL服务器上的预期插入/选择时间进行一些研究。

d）使用EF获得良好性能的诀窍是尽可能保留在上下文中的FEW记录。 良好的EF代码第一码是它运作良好的关键。

Answer 2

看看Bulk和BCP命令。它们用于复制大量的数据。

http://technet.microsoft.com/en-us/library/ms130809(v=sql.110).aspx

http://technet.microsoft.com/en-us/library/ms190923(v=sql.105).aspx

如果你不使用的MS SQL Server，请在您的服务器对应的功能。

请注意，100万条记录可能不是真正的大量数据。我建议你做一些性能测试，以了解它是否真的会成为问题。