Java堆空间 - ByteArrayOutputStream.Write

写这个程序解压缩并提取文件到亚马逊S3。我遇到了一个java堆错误。Java堆空间 - ByteArrayOutputStream.Write

我试过的东西：增加参数上的堆空间。将字节大小更改为[1024 * 1024]

在outputStream.write（buffer，0，len）处得到一个错误。字节大小初始化为1024. 此代码适用于目前为止大小为166 mb的大多数文件。 Java堆大小是Xmx4096m Java版本解压的1.7

方法：

public static void extractObjects(byte[] buffer, AmazonS3 s3Client, ZipInputStream zis, ZipEntry entry) 
       throws IOException { 
      try { 
       while (entry != null) { 
        String fileName = entry.getName(); 
        if (fileName == "lib") { 
         fileName = entry.getName(); 
        } 
        boolean containsBackup = fileName.contains(doc.getDesiredFile()); 

        if (containsBackup == true) { 
         System.out.println("A back up file was found"); 
         formatSchemaName(); 
         System.out.println("Extracting :" + app.getCurrentPacsId()); 
         log.info("Extracting " + app.getCurrentPacsId() + ", compressed: " + entry.getCompressedSize() + " bytes, extracted: " + entry.getSize() + " bytes"); 
         ByteArrayOutputStream outputStream = new ByteArrayOutputStream(); 
         int len; 

while ((len = zis.read(buffer)) >= 0) 
         { 
          outputStream.write(buffer, 0, len); 
         } 
         InputStream is = new ByteArrayInputStream(outputStream.toByteArray()); 
         meta = new ObjectMetadata(); 
         meta.setContentLength(outputStream.size()); 
         fileName = app.getCurrentPacsId(); 
         runDataConversion(is,s3Client,fileName); 

         is.close(); 
         outputStream.close(); 
         System.out.println("Unzip complete");    
        } 
        else{ 
         System.out.println("No back up found"); 
        } 
        entry = zis.getNextEntry(); 
       } 
       zis.closeEntry(); 
       zis.close(); 
      } catch (AmazonServiceException e) { 
       log.error(e); 
      } catch (SdkClientException e) { 
       log.error(e); 
      } 
     }

错误

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space 
    at java.util.Arrays.copyOf(Arrays.java:2271) 
    at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:118) 
    at java.io.ByteArrayOutputStream.ensureCapacity(ByteArrayOutputStream.java:93) 
    at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:153) 
    at com.amazonaws.image.DataMiner.extractObjects(DataMiner.java:112) 
    at com.amazonaws.image.DataMiner.downloadBucket(DataMiner.java:76) 
    at com.amazonaws.image.DataMiner.obtainConnection(DataMiner.java:58) 
    at com.amazonaws.image.DataMiner.main(DataMiner.java:208)

来源

2017-07-14 John Hanewich

你真的需要ByteArrayOutputStream？。它看起来像你只用它来获得未压缩的大小，但你已经在entry.getSize()。你能通过ZipInputStream直接runDataConversion(...)？

至于你正在观察的实际问题，当达到这些内存消耗水平时，遇到碎片问题并不罕见。也就是说，尽管你有更多的空闲内存，但你没有一个连续的大块，所以分配失败。压缩垃圾收集器应该注意这一点，但并非JVM中的所有垃圾收集器都是压缩的，IIRC。

来源

2017-07-14 15:31:27 gpeche

我发现通过增加运行命令与Java控制台中的Java堆空间解决了问题。但我认为你的权利仍然存在，我认为这个字节数组是无用的，正在填充不必要的浪费内存。我将重新访问这些代码，但目前它正在处理1GB大小的文件，但我敢打赌它可能会好很多。 –

Java堆空间 - ByteArrayOutputStream.Write

回答

相关问题