2016-11-18 66 views
0

我已经测试了通过使用hive -e和hive -f选项在shell脚本内执行配置单元查询来将hive查询输出写入文件。当我尝试从putty执行shell脚本时,它工作正常,但是在oozie工作流的hue框中,相同的shell脚本不会将任何结果写入本地文件。将配置单元查询输出写入HDFS文件

  1. 使用插入覆盖目录我可以直接将hive查询输出写入HDFS内的目录,但是对于每个查询,它都会创建一个新目录,因此我无法使用此选项。

请建议我通过从oozie工作流执行shell脚本将多个hive查询输出写入单个文件的其他选项。

在此先感谢。

+0

为什么INSERT OVERWRITE而不是INSERT? –

+0

顺便说一下,在一般情况下,INSERT OVERWRITE将创建*多个*文件(即多个映射器,无减速器或多个减速器)。 Hadoop是关于分布式计算的。如果你不想分布式计算,只需坚持MySQL或MS Access。 –

回答

0

当通过Oozie工作流运行shell操作时,它将运行在任何datanode上。检查输出路径是否存在于datanode中