2013-01-02 41 views
3

详细程度我运行命令行配置单元的方式:控制蜂巢

hive -e "select * from table;" 

,这让我我查询的所有细节和舞台。 如果我做的:

hive -S -e "select * from table;" 

它没有给出任何细节。

我想要显示的是地图缩小每个步骤的mappers和reducers的数量,以及地图缩小步骤的数量,但我不想看到所有的信息,如:

2013-01-02 12:46:28,756 Stage-1 map = 100%, reduce = 67%, Cumulative CPU 287.99 sec 

那么,是否有可能通过Hive更细化地控制冗长?谢谢!

+0

我也是。我最后只会看到像上面一行一样的日志文件,每秒一个。 –

回答

1

我的“解决方案” the same problem

hive ... 2>&1 | grep --line-buffered -v -e ' map = .*, reduce = ' | tee log 

这吮吸(和可能会杀了超过必要的),但是这是我已经能够拿出迄今最好的。

编辑:请观看并投票The logging (progress reporting) is too verbose

+0

哦,聪明!当我回去工作时我会尝试这个。我相信只有在完成第一个10%,20%等时才会知道使用grep函数的一些技巧。 – S4M