我可以设置高于2GB的任务内存限制吗

Question

Hadoop map-reduce配置提供了mapred.task.limit.maxvmem和mapred.task.default.maxvmem。根据the documentation，这两个值都是long类型的值，以字节为单位，它表示与任务关联的默认/较高VMEM任务限制。在这种情况下，“长”的含义似乎是32位，设置值高于2GB可能会导致负值被用作限制。 我在64位系统上运行，2GB比我想实施的低很多。

有没有办法解决这个限制？

我使用Hadoop版本0.20.1

Answer 1

长期在这种情况下指的空间来存储设置不能够解决实际内存量所需的量。因此，您可以使用最小值-9,223,372,036,854,775,808和最大值9,223,372,036,854,775,807（含）。但是，无论如何，通常一个long代表64bi​​ts的数据。