2016-03-04 63 views
0

有其中切片进行上myblobcontainer/{Year}/{Month}/{Day}格式或类似的斑点很多演示的在线(即https://azure.microsoft.com/en-gb/documentation/articles/data-factory-scheduling-and-execution/)。天青数据工厂切片

现在显然,这将允许该数据为年,月,日的参数很容易切片真的明确定义。

我有什么虽然是文件更是这样的:

myblobcontainer/log_20151231_144229.csv 

这显然是YYYYMMDD_HHMMSS

我想每小时处理一次我的文件,而不是重新处理任何东西,理想情况下不必乱搞太多的重构我的斑点。

没有人有任何想法,我怎么能“读”只有这些落在我的时间片内的文件?

回答

1

在斑点DataSet中的FOLDERPATH可以作为一个路径前缀工作。所以,你可以设置FOLDERPATH像"$$Text.Format('myblobcontainer/log_{0:yyyyMMdd}', WindowStart)",和所有文件满足前缀将被复制。

+0

我忽略了在我的例子中指出,这里的“log_”前缀实际上取决于哪个服务器产生日志:( – m1nkeh

+1

)不好意思知道它然后你可能不得不利用自定义活动来使你的特定逻辑:https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/你可以要求它作为一个新的功能,我们将进一步分流为:https://反馈.azure.com /论坛/ 270578-Azure的数据工厂 – Yingqin