Azure Data Factory管道

Question

我想为Azure blob conainters创建链接服务，Azure blob conainters的帐户信息来自Azure SQL数据库。由于条目和帐户信息的数量是动态的，所以我无法在Azure数据工厂的设置部分定义链接到Azure blob容器的服务。 可以动态直接创建Azure数据工厂中的链接服务吗？

Answer 1

不幸的是，在当前版本的ADF中这是不可能的。您只能使用函数来引用相对于流水线执行的元素（执行日期/时间）。您不能使用其他数据源动态定义斑点名称。

您可以使用数据工厂功能以及与上述用于以下目的 系统变量：

1. 指定数据选择查询（见连接器的文章在数据移动活动的文章中引用 语法调用数据 工厂功能是：$$用于数据选择查询和其他 属性在活动和数据集中
2. 在活动0123中指定数据工厂函数的输入相关性输入集合（参见上面的示例）。指定 输入依赖关系表达式不需要$$。

从这里

：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-functions-variables

这是目前可以做的blob输入的一切：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-blob-connector

你的情况，我会建议，如果你可以重新定义你的输入斑点有名称/文件夹可以从执行管道的日期/时间派生，而不是您可以获得的功能。

或者你可以有一个从sql获取信息的usql调用，然后将blob移动到日期标记的文件夹中，然后管道可以接收。

Answer 2

嗯，我认为这将通过Powershell脚本与数据工厂cmdlet和Azure功能的结合来运行它们。因此，PowerShell需要连接并从存储中获取schmas，创建数据集并部署它们，更改管道，设置管道调度和添加/删除元素，然后恢复（或仅设置当天管道启动）进程。但这需要相当多的工作。

但是，第2版中的Data Factory现在提供了更多的选项，包括使用SSIS，以便解决这个问题。