1
我只是很好奇,为什么当块大小为128 MB时,hadoop map溢出大小是io.sort.mb是100 MB(默认值)。将它设置为等于块大小是否更有意义,因为映射任务反正会处理那么多数据?当然我明白,在这里可以分配更多的RAM,但是还有什么更多的吗?hadoop map漏油大小和块大小
我只是很好奇,为什么当块大小为128 MB时,hadoop map溢出大小是io.sort.mb是100 MB(默认值)。将它设置为等于块大小是否更有意义,因为映射任务反正会处理那么多数据?当然我明白,在这里可以分配更多的RAM,但是还有什么更多的吗?hadoop map漏油大小和块大小
io.sort.mb是对内存中的文件进行排序所需的缓冲区内存总量。 作为一个理想的经验法则,它应该始终设置不超过总RAM的70%。 块大小基本上是关于在磁盘中设置文件块大小。您可以很好地将输入拆分与HDFS块大小相关联。
看一看这个帖子得到一个更好的主意
http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201104.mbox/%[email protected]%3E