如何创建小文件同时插入数据使用TEZ

Question

我已经试过几个选择，但我只看到配置设置合并小文件能像下面大文件蜂巢ORC表，但反之versa.I正在寻找创建的文件大小150kb。

set hive.merge.tezfiles=true; 
set hive.merge.smallfiles.avgsize=128000; 
set hive.merge.size.per.task=128000; 

Answer 1

您可以尝试设置ORC块大小hive.exec.orc.default.block.size。也跳过小文件合并，您将需要禁用标志。 set hive.merge.tezfiles=false;您可以参考Hortonworks community thread link的详细信息，文件是如何生成的。