HtmlUnit抛出内存不足，也许泄漏内存

我使用Selenium和HtmlUnitDriver启用javascript，并且出现内存不足错误（我使用Java）。我只是浏览同一页面。我只使用一个GET命令。哪种解决方案可以克服这种情况？HtmlUnit抛出内存不足，也许泄漏内存

2011-09-23 edi66

您可能想要发布更多详细信息。如果在增加可用于JVM的内存之后仍然内存不足，则听起来好像不能正确处理某些内容。 – prestomanifesto

我绝对同意你的看法。通过增加内存，你只会延迟内存不足错误。 –

通过添加这对启动该JVM其中硒运行java命令行给多个存储器到JVM：

-Xmx512m

这个例子给出最大的512 MB的JVM。

这取决于你从哪里运行Selenium。如果是maven，可以将它添加到MAVEN_OPTS环境变量中，如果是Eclipse，则需要编辑测试类的运行配置等。

来源

2011-09-23 21:57:24 Bohemian

我试过这个..但只持续了几个时间，直到内存不足......我绝对相信我会寻找另一个解决方案......谢谢 – edi66

我有类似的问题。它最终成为自动加载帧的问题......一个无法禁用的功能。

看看这个：Extremely simple code not working in HtmlUnit

这可能会有帮助。

更新

的的HtmlUnit当前版本是2.10。我从2.8版开始使用HtmlUnit，每个新版本最终都吃掉了更多的内存。我得到了一个点，其中JavaScript启用5个页面导致2GB的过程。

从javascript的角度来看，有很多方法可以改善这种情况。但是，当你无法修改javascript（例如：如果你正在爬行一个网站）你的双手被绑定。禁用JavaScript当然是最好的选择。但是，这可能会导致提取的页面与预期的页面不同。

虽然我确实设法克服了这种情况。经过多次测试后，我注意到它可能不是HtmlUnit的问题（我认为它是从一开始就有罪的）。它似乎是JVM。从Sun的JVM改为OpenJDK的确有窍门，而现在不用吃2GB内存的过程只需要200MB。我正在添加版本信息。

Sun公司（Oracle）的32位JVM：

$java -version 
java version "1.6.0.26" 
Java(TM) SE Runtime Environment (build 1.6.0_26-b03) 
Java HotSpot(TM) Server VM (build 20.1-b02, mixed mode)

OpenJDK的32位JVM：

$java -version 
java version "1.6.0_18" 
OpenJDK Runtime Environment (IcedTea6 1.8.13) (6b18-1.8.13-0+squeeze2) 
OpenJDK Server VM (build 14.0-b16, mixed mode)

手术系统：

$ uname -a 
Linux vostro1015 2.6.32-5-686-bigmem #1 SMP Sun May 6 04:39:05 UTC 2012 i686 GNU/Linux

请分享这个你的经验。

来源

2011-09-27 22:53:54

相关的的HtmlUnit：

不要忘记调用webClient.closeAllWindows();。我总是将它放在我使用web客户端的区域周围的finally区块中。通过这种方式，可以确保所有JavaScript都停止并释放所有资源。

ASLO有用的是设置为webClient：

webClient.setJavaScriptTimeout(JAVASCRIPT_TIMOUT); 
    webClient.setTimeout(WEB_TIMEOUT); 
    webClient.setCssEnabled(false); // for most pages you do not need css to be enabled 
    webClient.setThrowExceptionOnScriptError(false); // I never want Exceptions because of javascript

JAVASCRIPT_TIMOUT应该不会太高长时间运行的JavaScript可能是内存问题的一个原因。 WEB_TIMEOUT想想多久你想等待最大。

来源

2013-01-08 08:42:37 MrSmith42

HtmlUnit抛出内存不足，也许泄漏内存

回答

相关问题