Yarn Spark HBase - ExecutorLostFailure YARN因超过内存限制而死亡的容器

Question

我正在尝试读取spark（〜100GB大小）中的大型hbase表。

星火版本：1.6

星火提交参数：

spark-submit --master yarn-client --num-executors 10 --executor-memory 4G 
      --executor-cores 4 
      --conf spark.yarn.executor.memoryOverhead=2048 

Error: ExecutorLostFailure Reason: Container killed by YARN for exceeding limits. 4.5GB of 3GB physical memory used limits. Consider boosting spark.yarn.executor.memoryOverhead.

我已经尝试设置spark.yarn.executor.memoryOverhead到100000。仍然收到类似的错误。

我不明白为什么火花不会溢出到磁盘如果内存不足或是YARN导致问题在这里。

Answer 1

你如何尝试读取请分享你的代码。 ，也是你的集群架构

Container killed by YARN for exceeding limits. 4.5GB of 3GB physical memory used limits

尝试

spark-submit 
--master yarn-client 
--num-executors 4 
--executor-memory 100G 
--executor-cores 4 
--conf spark.yarn.executor.memoryOverhead=20480 

如果你有128克

的情况是清楚的，你用尽了内存，尝试以磁盘友好的方式重写你的代码。