Spark执行器，驱动程序，执行程序核心，执行程序内存的值

Question

我对Spark执行程序，驱动程序，执行程序核心，执行程序内存的值有一些疑问。

1. 如果有一个集群上运行，如果你提交一个工作是什么将采取星火执行人，执行人核心，执行内存的默认值没有应用程序？
2. 如果我们想要计算您想要提交的作业所需的Spark执行程序，执行程序核心，执行程序内存的值，您将如何执行此操作？

Answer 1

如果有一个集群上运行，如果你提交一个工作是什么将采取星火执行人，执行人核心，执行内存的默认值没有应用程序？

默认值被存储在spark-defaults.conf在安装火花在群集中。所以你可以验证这些值。通常默认值是。

检查默认值。请参阅本document

如果我们要计算星火执行人，执行人核心，所需要的要提交作业执行内存的值，你将如何做呢？

取决于以下几件事

1. 它是什么类型你有工作，即洗牌密集或只图操作。如果是洗牌，你可能需要更多的记忆。

2. 数据大小，更大的数据大小更大的存储器使用

3. 群集约束。你能承受多少内存？

根据你需要开始与一些数字，然后看着你需要了解的瓶颈，增加或减少内存占用的火花UI这些因素。

由于JVM GC变慢，因此执行程序内存超过40G的一个注意事项可能会使生产率提高。也有太多的内核可能会放慢进程。