Sqoop导出分区的Hive表

Question

我有一个Hive表，分区为year和week列。所以内容存储在Hive仓库中的多个递归目录中，在我的情况下，我有超过100多个目录（分区）用于此表。

在这里，我不知道如何将配置单表的目录详细信息提及sqoop-export命令的--export-dir属性。

我必须单独提及单独的sqoop-export命令中的所有100 *目录吗？有没有什么办法可以提到单个sqoop-export命令中的所有嵌套目录？

请让我知道是否还有其他更好的方法来解决这个问题？

[注：我没有Hcatalog在我的环境，我只是想喜欢“出口到HDFS目录”作为我的最后一个选项]

Answer 1

尝试使用所有分区创建一个外部表，并使用sqoop导出中外部表的目录。

1）PART_TABLE（分区表）;

2）创建EXTER表XX_DUMMY （） 位置

3）插入覆盖XX_DUMMY如SELECT * FROM PART_TABLE

4）运行Sqoop出口

或者

尝试出口-dir/user/name/*

Answer 2

您是否尝试过以下方法？蜂巢场的

--hive分区键名称划分上

--hive分区值的字符串值作为分区键此导入蜂房这项工作分片。