2017-03-01 81 views
1

这可能很简单,但我很难理解Azure数据工厂管道的确切触发时间。我遵循MS教程来创建一个DF管道,以将数据从Blob复制到Azure SQL。Azure数据工厂管道触发时间

我在 “1 - 3月份16:14 IST(上午10时44分UTC)” 低于计划,创造了管道

开始日期 - 2017年2月28日上午12:00 UTC

结束日期 - 2017年3月4日下午11:59 UTC

在1日

周期性创建管道后,它会立即运行下面的窗口,

窗口开始 - 2017年2月28日12: 00 AM UTC

窗口结束 - 2017年3月1日上午12:00 UTC

尝试结束 - 2017年3月1日上午10:45 UTC

尝试开始 - 2017年3月1日10:44 AM UTC

现在我的问题是为什么它没有运行窗口(03/01/17 UTC UTC到03/02/17 UTC UTC),因为管道仅在此时间窗口之间创建。我的意思是它跑过去了一天的窗口,但不是当天的窗口。

那么在每个窗口中触发流水线的确切时间是什么?


当问保罗,这里有多个配置值,

管道:

"policy": { 
      "timeout": "1.00:00:00", 
      "concurrency": 1, 
      "executionPriorityOrder": "NewestFirst", 
      "style": "StartOfInterval", 
      "retry": 3, 
      "longRetry": 0, 
      "longRetryInterval": "00:00:00" 
     }, 
     "scheduler": { 
      "frequency": "Day", 
      "interval": 1 
     }, 

"start": "2017-02-28T00:00:00Z", 
    "end": "2017-03-04T23:59:00Z", 

源数据集:

"availability": { 
     "frequency": "Day", 
     "interval": 1 
    }, 
    "external": true, 
    "policy": {}, 

目标数据集:

"availability": { 
     "frequency": "Day", 
     "interval": 1 
    }, 
    "external": false, 
    "policy": {}, 

下面是执行日志,

Start & End Time 
03/01/2017 12:00 AM UTC - 03/02/2017 12:00 AM UTC 
Attempt Time : 03/02/2017 12:01 AM 
+0

这绝对不是简单的。这非常复杂。 –

回答

2

能否请您为管道计划提供JSON,数据集内部(进出)和复制活动调度?

来自这4个不同代码块的属性值是影响ADF时间片行为的因素。当您配置切片时,会在配置中错过某些内容。另外请注意,时间片与SQL代理程序时间表非常不同,尽管名为'schedule'的JSON属性名称很差!这是简单的时间线的开始和结束,这将是切片由定义的时间间隔。

此外,还有一些设置可以指定运行事件的顺序以及执行时间片的时间。例如;在开始或结束时。

这是一个方便的微软的文章,我经常提到:

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution

希望这有助于。

+0

有一点很清楚,DF管道可以在窗口的末端或窗口的开始处被触发。在我的情况下,它在窗口结束时被触发。但为什么?我会根据您提出的更多相关数据更新我的问题。 – Prasoon

+0

如果您使用'style'属性,则可以控制该属性。 StartOfInterval或EndOfInterval。管道配置中的 –

+0

,style = StartOfInterval。但它仍然在调度窗口结束时运行。 – Prasoon

相关问题