azure-data-factory

3热度

2回答

我有一个具有多个管道的数据工厂，每个管道都有大约20个复制活动，以在两个存储帐户之间复制azure表。每个管道处理每个天蓝色表的快照，因此我想按顺序运行管道，以避免用旧数据覆盖最新数据的风险。我知道给第一个管道输出作为第二个管道的输入，我们可以实现这一点。但是，由于我有许多活动正在筹备中，我不确定哪些活动最后会完成。是否有反正我可以知道管道已完成或反正一个管道完成状态触发下一个管道？在Ac

0热度

1回答

Azure数据工厂数据迁移

不确定这是一个明确的问题还是仅仅是输入查询。我正在查看Azure Data Factory以实施数据迁移操作。我想要做的是以下几点：我有一个没有SQL DB与两个集合。这些集合通过一个公共属性关联。我有一个MS SQL Server数据库，其数据与No SQL DB Collections内的数据通过属性/列相关。其中一个NoSQL DB集合将定期更新，另一个不是经常更新。我想要做的就是准

1热度

1回答

我们如何获取数据工厂日志信息

我们如何获取数据工厂日志信息。做微软完成任何文档。我需要的完整信息，当我运行管道即开始时间，结束时间，流水线作业ID，没有插入，删除，更新，错误记录等

0热度

1回答

如何以编程方式为链接服务生成会话标识和授权标记？

我有一个需要授权和会话ID的链接服务。目标是在本地创建ADF项目，并通过VSTS CI/CD管道将其推送到Azure。每当我使用powershell脚本部署项目时，我都会遇到授权问题。我该如何处理？我注意到一个C＃脚本https://docs.microsoft.com/en-us/azure/data-factory/data-factory-usql-activity。但是，我如何将这与我的A

1热度

1回答

ADF项目有可能参考另一个ADF项目吗？

在我的解决方案中，我有两个Azure数据工厂项目：PR1和PR2。 PR1包含一些资源的定义 - “resource1”。在PR2我有管道的定义，我想引用这个资源为： "linkedServiceName": "resource1" 当我尝试建立或发布PR2，我发现了错误： Reference resource1 was not found in the solution 我尝试添加到PR1

2热度

2回答

如何在Azure数据工厂管道中实现条件分支

我正在实现一个管道以将数据更新从csv文件插入SQL DB。计划是首先将数据插入到临时SQL表中进行验证和转换，然后将处理后的数据移动到实际的SQL表中。我想根据验证结果来分支管道执行。如果数据正常，它将被插入到目标SQL表中。如果发生致命故障，应该跳过插入活动。试图找到指示/指导，但迄今为止没有成功。管道活动支持条件执行的任何想法，例如基于输入数据集中的一些属性？

0热度

1回答

使用Azure数据工厂将数据加载到Azure DW

我使用ADF填充天蓝色数据仓库，我需要准备增量插入/更新操作。我的源代码可以包含已经加载到DW的数据，因此我需要执行检查以确定数据是否已加载并执行操作。基本上这个想法是在过去7天内每天都会获取数据，以防有人更新历史数据。起初，我尝试使用副本活动与来源自定义查询，然后在目的地使用存储过程，将通过业务重点检查记录已经存在与否和执行插入或更新。但是我找不到如何处理每行的源查询行结果并将其传递给SP。

0热度

1回答

在一个插入到DocumentDB的天青逻辑应用程序工作流步骤中，如何“toString”一个数字

我在逻辑应用程序中触发DocumentDb步骤中的“创建文档”时出现错误，指出id是一个数字。如何在插入步骤中使用toStringid号码？ "actions": { "Create_or_update_document": { "inputs": { "body": { "body": "@triggerBody()",

0热度

2回答

如何使用Azure Data Factory将数据从MySQL逐步导入Azure数据仓库？

我正在使用Azure Data Factory来定期将数据从MySQL导入到Azure SQL数据仓库。数据通过Azure存储帐户上的临时blob存储，但是当我运行管道时，它失败了，因为它无法将blob文本分离回列。管道试图插入目标的每一行都将成为一个长字符串，其中包含由“⯑”字符分隔的所有列值。我之前使用过数据工厂，没有尝试增量机制，它工作正常。我没有看到会导致这种行为的原因，但我可能错过了

1热度

2回答

使用Azure数据工厂仅复制特定的扩展blob

我试图将一个Blob容器从一个Azure存储帐户复制到另一个。我正在使用Azure Data Factory复制活动来执行此操作。复制所有的斑点很简单。但我只想复制特定的扩展blob。在创建输入数据集时，我没有看到任何指定wildcard或regex的选项。有没有什么办法可以通过ADF实现这一点。我也尝试了Azure Data Movement Library。即使它没有这样的功能。 DML仅