2016-09-23 57 views
0

我的管道具有AzureBLOB类型的源数据集。防止在零大小的源片文件上运行片

它是小时数据集,因此管道持续拉小时切片。但问题是许多源片文件的大小为,大小为。但管道继续并取得成功。我不想那样。

同时我不想硬编码管道中的任何“最小”尺寸策略 (我知道有一些我们可以为管道提供的设置)。

我只想说“管道应该只处理非零大小的文件,没有>不管大小。我们如何保证呢?基本上切片应重试>最终失败,如果切片文件为零大小。

回答