如何设置Vora表分区大小？

Question

我已将“partitionSize”选项设置为多个不同的值，并且无论数量多少，我似乎都会得到相同数量的分区。根据文档应该对应于HDFS块的大小。有什么，我失踪了。

HDFS块大小64M

CREATE TABLE TABLE_TEST（DEFINITION_INFO） USING com.sap.spark.vora OPTIONS（ 表名 “TABLE_TEST”， partitionSize “64”， 路径“/ load_from_here /组合。 CSV”， eagerLoad “真” ）

的CSV约为680M

Answer 1

参数的名称有点误导。它不是用于对表进行分区，而是在将数据加载到表中时影响负载性能。在较新的版本中，可能会重新命名以避免这种混淆。