0
我已经测试了通过使用hive -e和hive -f选项在shell脚本内执行配置单元查询来将hive查询输出写入文件。当我尝试从putty执行shell脚本时,它工作正常,但是在oozie工作流的hue框中,相同的shell脚本不会将任何结果写入本地文件。将配置单元查询输出写入HDFS文件
- 使用插入覆盖目录我可以直接将hive查询输出写入HDFS内的目录,但是对于每个查询,它都会创建一个新目录,因此我无法使用此选项。
请建议我通过从oozie工作流执行shell脚本将多个hive查询输出写入单个文件的其他选项。
在此先感谢。
为什么INSERT OVERWRITE而不是INSERT? –
顺便说一下,在一般情况下,INSERT OVERWRITE将创建*多个*文件(即多个映射器,无减速器或多个减速器)。 Hadoop是关于分布式计算的。如果你不想分布式计算,只需坚持MySQL或MS Access。 –