3

我对数据工厂和逻辑应用程序非常陌生(但我对SSIS有多年的经验),
成功地在100文本文件的文件夹加载到SQL-天青与数据工厂
但文件本身是不变现在使用逻辑应用程序从所有子(子)文件夹中获取特定文件,将它们加载到SQL Azure

,另一个要求是在文件夹中,我环获得与某个文件扩展名的文件, 最后,我应该将'To_be_processed'文件夹中的所有文件移动(=复制&删除)到'Processed'文件夹

我无法找到放置'通配符'的位置,例如:
例如,获取文件扩展名为.001,002,003,004,005 ...直到...,996,997,998的所有文件,999(千文件) - >也在子文件夹中搜索。

是否可以从逻辑应用程序中调用数据工厂? (尽管这似乎是不必要的)

请找出这张截图的一些更详细的信息:
(点击放大) enter image description here

提前感谢帮助我探索这项新技术!

回答

1

有趣的情况。

我同意使用逻辑应用只为文件处理这个附加层似乎是不必要的,但Azure的数据工厂目前可能无法处理你所需要的东西......

在加入外卡的条款您的Azure数据工厂数据集具有JSON类型属性块中可用的3个属性,如下所示。

文件夹路径 - 指定目录。它可以与分区的子句一起工作,用于时间片的开始和结束。需要。

文件名 - 指定文件。对于时间片的开始和结束,可以再次使用分区的子句。不需要。

文件过滤器 - 这是通配符可以用于单个和多个字符。 (*)为多和(?)为单。不需要。

此处了解详情:https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

我不得不说,分别以上都不是非常适合您需要什么,我已经反馈给微软,我们需要结合以上3更灵活的属性值设为1,允许在各个位置使用通配符,并且使用不仅仅适用于日期时间值的条件设置分区。

这就是说。尝试下面的内容。

"typeProperties": { 
    "folderPath": "TO_BE_PROCESSED", 
    "fileFilter": "17-SKO-??-MD1.*" //looks like 2 middle values in image above 
    } 

在附注上;已经有一个微软的反馈项目已被提出为一个文件移动活动,目前正在审查。

在这里看到:https://feedback.azure.com/forums/270578-data-factory/suggestions/13427742-move-activity

希望这有助于

0

我们通过 '应用服务' 使用我们称之为C#应用程序 - > webjobs。 更容易遍历文件夹。要调用SQL,我们使用了sql bulkinsert

相关问题