自动导入SQL Server中的CSV文件

Question

我目前正在使用SSIS将一大堆CSV文件定期导入到我们的系统中。这些导入过程使用SQL Server代理进行安排 - 应该有一个愉快的结局。然而，我们收到数据的供应商之一喜欢每隔一段时间更改一次文件格式（感觉像是一个月两次），在SSIS中实施这些更改是一个极大的痛苦。

对我来说，将这些导入到SQL Server中的方式有​​没有那么痛苦？我的要求相当简单：

1. 文件格式为CSV，它们用逗号分隔，并且用双引号限定文本。
2. 的文件名会显示成表我需要这些进口
3. 它需要一些东西，可以自动
4. 变化的文件格式不应该是太大的痛苦
5. 如果确实存在错误，我需要能够知道它是什么 - 日志记录

非常感谢！

Answer 1

BULK INSERT是您可以选择的另一种选择。你可以用它定义自己的文件templets：

https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql

https://jamesmccaffrey.wordpress.com/2010/06/21/using-sql-bulk-insert-with-a-format-file/

Answer 2

你可以考虑使用BIML，其中动态生成基于在运行时元数据包。

Answer 3

我试过Java解决方案“dbis”。请检查下面。

https://dbisweb.wordpress.com/

它具有移植信息到XML文件中。您可以在任何文本编辑器中编辑它。 但它需要静态表名。