hiveQL计数器超限错误

Question

我运行，当它运行在Hiveql一个创建表的查询，并获得以下错误：

状态：失败 计数器超过极限：太多的计数器：2001年最大= 2000 失败：执行错误，从org.apache.hadoop.hive.ql.exec.tez.TezTask返回代码2。超出计数器限制：太多计数器：2001 max = 2000

我试图将计数器设置为更大的数字，即 set tez.counters.max = 16000;

但是，它仍然有同样的错误翻倒。

我查询包含13左加入，但数据集都比较小（1000的行）。查询确实有效，当有大约10个连接时，但由于我已经添加了其他连接，它开始失败。

我如何可以配置这个工作任何建议，将不胜感激！

Answer 1

你需要找到失败的真正容器最初的错误日志。你在这里显示的错误不是最初的错误。 2001容器（包括它们的重新启动尝试）由于其他错误（您确实需要修复）而失败，则所有作业都会终止，所有其他容器都会因为失败的计数器限制而终止。转到Job跟踪器并找到一些失败的（未杀死的）容器并读取它的日志。真正的问题没有限制，更改失败的计数器限制将无济于事。