查询在完成后仍然运行

在Hortonworks上Hue上成功运行HiveQL查询（使用TEZ执行引擎）时，该进程在“Hue Job Browser”&“Hadoop ResourceManager UI”下仍被标记为“正在运行”。是否应该这样做等待新的输入或它未能终止？查询在完成后仍然运行

我的设置：

HortonWorks HDP-2.3.2.9-2950 3 RH Linux的7台计算机上运行
色相3.9.0
蜂巢1.2.1.2.3
Oozie 4.2.0.2.3

来源

2016-01-04 Eirik Y. Øra

Hive：MapReduce或TEZ的哪个执行引擎？由于TEZ在YARN容器上保留了几秒的租期，以避免在按顺序执行多个查询时不必要的分配/释放操作（参见'tez.am.container.reuse.enabled'，'tez.am.container.idle.release -timeout-min.millis'，'tez.am.container.reuse.rack-fallback.enabled'等* tez-site.xml *） –

谢谢参孙！是否有可能在任何地方调整这个“超时”？（我也根据你的回答写出了最终答案） –

你可以在* tez-site.xml *中静态地改变这些'tez.am.container。*'属性。或者您可以在您的Hive脚本中动态重置它们，例如'set tez.am.container.reuse.enabled = false;'（但我不确定它会立即应用到已分配的容器上，因为A.M.已经启动并正在运行） –

正如Samson Scharfrichter所述：

的TEZ执行引擎保留查询完成后数秒上YARN容器租赁，以避免不必要的在序列执行多个查询时分配/解除分配操作。

这将使完成的查询作业在最终结果出现在Hive查询前端后显示为运行几秒钟。

谢谢Samson Scharfrichter！

来源

2016-01-05 13:33:50

减少tez.session.am.dag.submit.timeout.secs的超时可以提供帮助。时间以秒为单位。

<property> 
<name>tez.session.am.dag.submit.timeout.secs</name> 
<value>10</value> 
</property>

/etc/tez-site.xml文件。

来源

2017-07-03 11:44:33 desaiankitb

查询在完成后仍然运行

回答

相关问题