如何在aws数据管道下运行子树

Question

是否有可能在aws数据管道下运行整个依赖树的子部分。至于我能理解的是没有办法做到这一点。

任何一个都必须重新运行整个管道或只是一些单一的sql活动。随着sql活动的数量开始增加，这变得很难。 ..

Answer 1

我不确定你的用例是什么，但我认为这个技巧可能对你有帮助。

您将需要在没有交集的树中分解图。连接来自不同树的节点的所有边应该被联合节点替代。如果您绘制脱颖而出的例子是：

A1 -> A2 -> B1 -> B2 

这里有两个树A和B.此图应该转变成图形波纹管：

A1 -> A2 -> J1 -> B1 -> B2 

J1是联合节点。

树中的所有节点应该具有属性failureAndRerunMode设置为cascade，所有联合节点都应将此属性设置为none。

这允许您将级联故障本地化到子树的大小。