h2o云需要大量内存吗？

Question

我试图在一个Zeppelin笔记本中使用R在4个数据节点hadoop spark集群上设置一个H2O云。我发现，在我的R段停止抱怨内存不足（GC内存不足的java错误消息）之前，我必须给每个执行程序至少20Gb的内存。

预计每个执行器需要20Gb的内存来运行H2O云吗？或者是否有任何可以更改的配置条目来减少内存要求？

Answer 1

没有足够的信息在这篇文章中给出具体细节。但是我会说Java GC消息的存在不一定是问题，特别是在启动时。在Java程序生命开始时看到一堆GC消息是正常的，因为堆从无到有扩展到稳态工作规模。

Java GC确实正在成为一个主要问题的迹象是，当您看到具有几秒或更长时间的真实挂钟时间的背靠背全GC循环时。