产生的原因：java.lang.OutOfMemoryError：GC开销超过限制

Question

你能有人帮我解决了GC开销错误。

背景： 这是通过从HCATALOGUE 4个蜂巢表加载数据猪脚本。配置单元表按顺序文件并按日期分区。加载数据大小约为。 24TB。

这个脚本已经为16TB运行成功。

问题：在尝试读取从蜂巢数据 作业将失败。应用程序ID未提交用于此映射reduce，并且即使在提交应用程序ID之前也会发生故障。所以，在YARN找不到日志。

我尝试将yarn.app.mapreduce.am.resource.mb修改为6G，mapreduce.map.memory.mb（6GB），mapreduce.map.java.opts（6GB的0.8％），mapreduce.reduce。 memory.mb（8GB）和mapreduce.reduce.java.opts。 仍然会得到同样的错误。

对此有任何帮助吗？

谢谢。

Answer 1

有两种配置，需要更改。

1-XX：+ UseConcMarkSweepGC =使得GC更加频繁。

1. -XX：-UseGCOverheadLimit =停止容器被杀死，甚至等待更长的时间。

在蜂巢控制台，刚刚火这个，ü应该是好去。

蜂巢>SET mapred.child.java.opts=-Xmx4G -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit;