0
我的管道具有AzureBLOB类型的源数据集。防止在零大小的源片文件上运行片
它是小时数据集,因此管道持续拉小时切片。但问题是许多源片文件的大小为,大小为。但管道继续并取得成功。我不想那样。
同时我不想硬编码管道中的任何“最小”尺寸策略 (我知道有一些我们可以为管道提供的设置)。
我只想说“管道应该只处理非零大小的文件,没有>不管大小。我们如何保证呢?基本上切片应重试>最终失败,如果切片文件为零大小。
我的管道具有AzureBLOB类型的源数据集。防止在零大小的源片文件上运行片
它是小时数据集,因此管道持续拉小时切片。但问题是许多源片文件的大小为,大小为。但管道继续并取得成功。我不想那样。
同时我不想硬编码管道中的任何“最小”尺寸策略 (我知道有一些我们可以为管道提供的设置)。
我只想说“管道应该只处理非零大小的文件,没有>不管大小。我们如何保证呢?基本上切片应重试>最终失败,如果切片文件为零大小。
您可以创建自定义的C#的活动,以检查是否在Azure中的Blob有活跃的数据,并根据结果,你可以继续你的管道
https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/