Hive中如何解决（太多）分区问题

如果我在单个表中有更多的分区，会发生什么问题。我打算在配置单元中创建一个历史记录表，它将包含7到8年的数据，同时我计划使用日期键对表进行分区。在这种情况下，我的表格将有大约2500到3500个分区。这是否在分区将创建问题到我的namenode和datanode？每个入口分区条目将占用多少内存到namenode中？由于这个分区，我将面临什么问题？如果我将面对记忆问题，请给我解决方案。如果您发现任何关于此的好文章，请给我链接。有没有其他方法可以解决这个问题？Hive中如何解决（太多）分区问题

感谢 VenkadesanË

来源

2016-03-21 Venkadesh Venkat

我不认为你有过的分区，3.5K还OK音响挣扎。分区数量较多的唯一问题是查询开始运行之前的时间，我想这是因为从元数据接收分区元数据。我们在10k分区遇到真正的放缓，3.5k应该为你工作

来源

2016-03-28 06:24:24

嗨是否有解决方案，截至目前我们有大约14k分区，并且查询从不开始（等待超过1.5-2小时）映射初始化阶段与映射器数量= -1 预先感谢 –

Hive中如何解决（太多）分区问题

回答

相关问题