我们可以对TEZ中生成的DAG计划实施自定义的DAG计划吗？如果可能，如何？

Question

而不是使用TEZ在Hive中生成的DAG计划，我想使用由我创建的自定义DAG计划。可能吗？如果是，任何人都可以解释吗？

Answer 1

如果您使用Hive运行查询，则无法使用自定义DAG。如果您使用API​​对Tez应用程序进行低级编程，则可以。见高级别文档浏览：https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/

事情是这样的：

//Define DAG 
DAG dag = new DAG(); 
Vertex map1 = new Vertex(MapProcessor.class) 
and so on... 

见Apache项目的例子：https://git-wip-us.apache.org/repos/asf?p=tez.git;a=blob;f=tez-examples/src/main/java/org/apache/tez/examples/HashJoinExample.java