如何处理Azure数据工厂中的增量和完全上传

Question

我们有一个Azure存储帐户和2个blob存储。 A Full和a公司 在完整版中，只要需要完整上传，我们就会放置完整上传CSV文件，在公司我们只是每天放置小增量CSV文件。 我们首先将所有数据加载到临时文件中，然后加载到ODS en，最后加载到Edw（Enterprise DW）。 只有在对表格进行结构更改时才需要完整上传。

基本上两个上传之间的唯一区别是全也cleares在ODS和EDW的所有数据，但运行存储在管道程序萨姆斯，...

任何人有关于如何秘诀处理Azure数据工厂中的这种情况。 我不希望将数据工厂翻一番，但由于输出数据集的可用性/频率不同，我无法在输出数据集中使用相同的分段逻辑（在数据工厂中）表格。

因此，任何暗示赞赏...

Answer 1

首先要明确ADF只是在那里援引其他Azure服务，它不会做任何工作本身。所以问题是真的。您可以从ADF拨打Azure的哪些服务来完成这项工作并管理这种情况？

要回答这个问题......

选项1：我建议你看一下Azure的数据湖。我已经写了一些简单的过程来描述你在USQL中描述的内容，其中可以将参数从ADF传递给USQL过程以用于不同类型的行为。

您创建的代码可以位于Azure Data Lake Analytics数据库中，类似于TSQL对象。然后也许开始使用Azure Data Lake Storage，而不是普通的Blob。

选项2：分手C＃并创建自己的Azure数据工厂定制活动并创建一组类以完成您所需的操作。再次通过ADF传递的参数或在方法中包含逻辑来检查“完整”表格内容。然而，这将涉及更多的开发工作，并且需要计算的Azure批处理服务。