我们可以制作一个在蜂巢中既有分区又有分区的表格吗?我们可以制作一个在蜂巢中既有分区又有分区的表格吗?
1
A
回答
3
是的。
分区是你把数据分成HDFS上的目录数量。每个目录都是一个分区。例如,如果你的表定义是像
CREATE TABLE user_info_bucketed(user_id BIGINT, firstname STRING, lastname STRING)
COMMENT 'A bucketed copy of user_info'
PARTITIONED BY(ds STRING)
CLUSTERED BY(user_id) INTO 256 BUCKETS;
那么你就必须对HDFS目录,如
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/
/user/hive/warehouse/user_info_bucketed/ds=2011-01-13/
桶装是关于你的数据是如何分区里面分布,因此,您所拥有的文件像
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/000000_0
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/000000_1
...
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/000000_255
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/000000_0
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/000000_1
...
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/000000_255
参考HDFS: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables http://www.hadooptpoint.com/hive-buckets-optimization-techniques/
0
你可以!在这种情况下,您将在分区数据中使用桶!
1
是的。这是直截了当的。
尝试下面的东西:
CREATE TABLE IF NOT EXISTS employee_partition_bucket
(
employeeID Int,
firstName String,
designation String,
salary Int
)
PARTITIONED BY (department string)
CLUSTERED BY (designation) INTO 2 BUCKETS
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';
在这个例子中,我通过指定
Hopw创建的分区由部门和铲斗这将帮助你
相关问题
- 1. 蜂巢:从现有的分区表
- 2. 我可以有一个蜂巢外部表分区搜索递归
- 3. 蜂巢中的分区和分层
- 4. 我们应该什么时候在蜂巢中进行分区和分区?
- 5. 蜂巢桶vs分区
- 6. 蜂巢,桶装的分区表
- 7. 通过减少分区的数量改变蜂巢表分区
- 8. Oracle 10g分区:我可以分区一个子表吗?
- 9. 插入到蜂巢分区表错误
- 10. 蜂巢中的范围分区
- 11. 分区蜂巢表与另一个外部表
- 12. 添加文件蜂巢分区
- 13. 下降蜂巢分区动态
- 14. 蜂箱 - 分区表
- 15. 蜂巢静态分区加载的所有记录
- 16. 蜂巢加入2桌人有其他分区不
- 17. 我可以有一个既是git工作区也是svn工作区的工作区?
- 18. ,我们可以有一个编辑文本中的Android 3.0蜂巢
- 19. 有没有一种方法可以在MySQL/Rails中强制区分单个查找的区分大小写?
- 20. 蜂房外部分区表
- 21. 是否有可能在BigQuery中使分区表非分区?
- 22. 我应该对表格进行分区/子分区吗?
- 23. Sqoop增量装载到分区蜂巢表
- 24. HdInsight Azure DW Polybase到蜂巢表(ORC)与日期分区失败
- 25. 蜂巢:动态分区添加到外部表
- 26. 蜂巢CREATE TABLE LIKE其他表集分区键
- 27. 将蜂巢分区映射到某个位置
- 28. 我们可以在SQL Server 2012标准版中执行表分区吗
- 29. 我可以在SQL Server 2005中更改分区表吗?
- 30. 分区通过在蜂房
如何数据将在文件系统目录分配?你能详细说明吗? – Farooque