Apache Spark没有看到我的机器的所有内存

Question

我创建了一个由8台机器组成的Spark群集。每台机器都有104 GB的RAM和16个虚拟内核。

我似乎Spark每台机器只能看到42 GB的RAM，这是不正确的。你知道为什么Spark没有看到机器的所有内存？

PS：我使用Apache 1.2星火

Answer 1

似乎是一种常见的误解。显示的内容是spark.storage.memoryFraction： https://stackoverflow.com/a/28363743/4278362

Answer 2

星火使得在猜测可用内存没有尝试。执行程序使用尽可能多的内存，与您在spark.executor.memory设置中指定的内存一样多。看起来它设置为42 GB。