Spark - UbuntuVM - Java运行时环境内存不足

我试图在Ubuntu14.04虚拟机上安装Spark1.5.1。解压文件后，我将目录更改为解压缩的文件夹并执行命令“./bin/pyspark”，该命令应该激活pyspark外壳。但是，我得到了一个错误信息如下：Spark - UbuntuVM - Java运行时环境内存不足

[ OpenJDK的64位服务器VM警告：信息：OS :: commit_memory（0x00000000c5550000，715849728，0）失败; error ='无法分配内存'（errno = 12）没有足够的内存让Java运行时环境继续运行。

本机内存分配（malloc）未能分配715849728字节来提交保留内存。

更多信息的错误报告文件保存为： /home/datascience/spark-1.5.1-bin-hadoop2.6/hs_err_pid2750.log ]

任何人都可以请给我一些方向来解决问题？

来源

2015-10-20 preetham madeti

它说的很多。它需要7GB的RAM。所以给VM〜8GB的RAM。

来源

2015-10-20 20:28:19 Reactormonk

我试图改变虚拟机的设置基本内存，但不能这样做。你能告诉我如何改变？ –

@Reactormonk我认为你的一个数量级的:) – zero323

@Preetham停止虚拟机，改变内存分配，再次启动？如果你不能分配更多，你总是可以使用交换。 – zero323

我们需要在conf/spark-defaults.conf文件中将spark.executor.memory设置为特定于您机器的值。例如，

[email protected]:~/spark-1.6.1$ cp conf/spark-defaults.conf.template conf/spark-defaults.conf 
nano conf/spark-defaults.conf 
spark.driver.memory    512m

欲了解更多信息，请参阅官方文档：http://spark.apache.org/docs/latest/configuration.html

来源

2017-01-04 15:45:51 charybr

Spark - UbuntuVM - Java运行时环境内存不足

回答

相关问题