为什么“每HDFS文件1分HDFS块”是在地板公文更好

Question

为什么“每个HDFS文件1分HDFS块”是在地板正式文件优化的阅读设置

parquet official document

编辑：？

如上图所示，parquet文件由行组组成。 如果“1GB行组，1GB HDFS块大小”，则1行组将适合1个HDFS块。那么列不会在HDFS块之外。所以，我们不再需要传输数据。但是，什么是“每个HDFS文件的1个HDFS块”呢？

Answer 1

这实质上是因为parquet是一种列式存储格式。因此，我们可以说你已经存储了1GB大小的3GB文件。要阅读整条记录，如果每列的信息不在一个单独的块中（这可能是因为柱状格式），则需要重新构建记录，这意味着必须在一台机器中重构需要的记录从其他节点传输数据以重新组装记录。

编辑：

对于下面的图像，其比较的行存储针对列存储，想象列费用不适合您的块大小，这意味着该列将是你的块之外，将创建一个新的块。如果要将数据用于整个特定行，则需要将费用列的数据发送给另一个无效的节点。我希望这是有道理的。