使用ASP.Net从SQL Server导出大量数据

Question

在我工作的公司，我们正在构建一个数据仓库应用程序，它将成为我们运行的许多查询的基于Web的前端。 [使用ASP.net]

其中一些查询将带来超过一百万条记录（和一年端2个万元左右，也许记录） -

最多也就几千，等

是什么一种很好的方式来构建应用程序，以便您可以浏览到您想要的查询，将其导出并生成所需数据的CSV文件 -

我在想一个基于Web的界面，它调用BCP生成一个文件，并在创建报告时向您显示，以便它可以下载并在24小时内过期ng创建 -

任何想法？

Sas

Answer 1

我在以前的生活中构建了类似的东西。本质上是一个C＃命令行应用程序，它对我们的报告服务器运行查询。

一些要点：

• 它没有问题，他们花了多长时间，因为它是在后台 - 当一个文件已经准备好，它会在用户界面中显示出来，并且用户可以下载它。他们没有实时等待。

• 这并不重要，因为上面的观点是无效的，因为这些报告都是针对前一天的。我们将它们从生产的报告副本中删除，而不是针对通过日志传送保持延迟的生产。

• 我们没有设置任何到期的文件，因为用户可以在星期五申请报告，并不期望在星期一之前查看它。我们宁愿让磁盘上的文件再次运行报告（文件服务器磁盘空间相对便宜）。我们让他们在删除报告后立即删除报告，并且他们会自行采取措施来防止UI中的混乱。

• 由于数据的各种要求，我们使用C＃和DataReader而不是批量导出方法。我们需要提供灵活性来包含列标题或不包含引用数据，以处理支持各种文化的千位分隔符和小数点，以应用不同的行结束符（\ r \ n，\ n，\ r），不同的扩展，Unicode /非Unicode文件格式，以及不同的分隔符（逗号，制表符，管道等）。此外，还有针对不同的客户，甚至不同的报告不同的要求 - 有些只要一报告完成想要一个电子邮件通知，别人想发送到某些FTP服务器的报告的副本，等

你可能还有很多需求还没有想到，但我希望能给你一个开始。