火花执行器GC花了很长时间

Question

我正在一个独立的集群上运行Spark作业，并且我注意到有些时候GC开始花费很长时间，红色的可怕颜色开始出现。

这里是可利用的资源：

Cores in use: 80 Total, 76 Used 
Memory in use: 312.8 GB Total, 292.0 GB Used 

工作细节：

spark-submit --class com.mavencode.spark.MonthlyReports 
--master spark://192.168.12.14:7077 
--deploy-mode cluster --supervise 
--executor-memory 16G --executor-cores 4 
--num-executors 18 --driver-cores 8 
--driver-memory 20G montly-reports-assembly-1.0.jar 

如何解决GC时间要花这么长时间？

Answer 1

我有同样的问题，可以通过使用并行GC而不是G1GC来解决它。您可以将以下选项添加到执行者在提交请求中的附加Java选项

-XX:+UseParallelGC -XX:+UseParallelOldGC