Servlet文件上传内存消耗

Question

我正在使用servlet来执行多文件上载（使用apache commons fileupload）。我的代码的一部分张贴在下面。我的问题是，如果我一次上传多个文件，应用程序服务器的内存消耗会大幅跳跃。如果直到文件上传完成，这可能是确定的，但应用程序服务器似乎挂在内存上，并且不会将其返回到操作系统。我很担心，当我把它投入生产时，我最终会在服务器上发生内存不足异常。任何想法为什么发生这种情况？我想服务器可能已经启动了一个会话，并会在内存过期后返回，但我不是100％肯定的。

if (ServletFileUpload.isMultipartContent(request)) { 
     ServletFileUpload upload = new ServletFileUpload(); 
     FileItemIterator iter = upload.getItemIterator(request); 
     while (iter.hasNext()) { 
      FileItemStream license = iter.next(); 
      if (license.getFieldName().equals("upload_button") || license.getName().equals("")) { 
       continue; 
      } 
      // DataInputStream stream = new DataInputStream(license.openStream()); 
      InputStream stream = license.openStream(); 
      List<Integer> byteArray = new ArrayList<Integer>(); 
      int tempByte; 
      do { 
       tempByte = stream.read(); 
       byteArray.add(tempByte); 
      } while (tempByte != -1); 
      stream.close(); 
      byteArray.remove(byteArray.size() - 1); 
      byte[] bytes = new byte[byteArray.size()]; 
      int i = 0; 
      for (Integer tByte : byteArray) { 
       bytes[i++] = tByte.byteValue(); 
      } 
     } 
    } 

在此先感谢！

Answer 1

来处理Java的流（至少在Java 7中），正确的方法是：

InputStream is; 
try { 
    is = ... 
} catch (IOEXception ex) { 
    // report exception - print, or throw a wrapper 
} finally { 
    try { 
     is.close(); 
    } catch (IOException ex) {} 
} 

（可能登录异常的第二抓为好）

如果您不关闭你的流，内存不会被garbage collector释放。

Answer 2

构建ServletFileUpload时，您应该传递一个您自己配置的FileItemFactory对象（具体而言，是DiskFileItemFactory），而不是依赖于默认值。默认值可能不适合您的要求，尤其是在大批量生产环境中。

Answer 3

这里

ArrayList<Integer> byteArray = new ArrayList<Integer>(); 
int tempByte; 
do { 
tempByte = stream.read(); 
byteArray.add(tempByte); 

你的每一个字节写直入内存整型数组！每个整数占用4个字节的内存，而每个读取字节只需要一个字节。实际上，您应该使用ArrayList<Byte>或更好的byte[]，因为每个byte只需要一个字节的内存，但是每个saldo仍会分配尽可能多的内存。

这里

byte[] bytes = new byte[byteArray.size()]; 

你以后分配尽可能多的内存一样大的文件。根据文件大小的不同，你可以使用ArrayList<Integer>和byte[]分配5倍的内存。

这是一种浪费。

你应该把它写到OutputStream立即，例如， FileOutputStream。

InputStream input = null; 
OutputStream output = null; 
try { 
    input = license.openStream(); 
    output = new FileOutputStream("/file.ext"); 
    byte[] buffer = new byte[1024]; 
    for (int length; (length = input.read(buffer)) > 0;) { 
     output.write(buffer, 0, length); 
    } 
} finally { 
    if (output != null) try { output.close(); } catch (IOException logOrIgnore) {} 
    if (input != null) try { input.close(); } catch (IOException logOrIgnore) {} 
} 

，这将花费仅有效的存储器的缓冲液代替字节（或使用整数时的它的4倍）的整个文件长度1KB。

或者如果你真的想要它在byte[]然后只是跳过整个ArrayList<Integer>步骤。这个不成立。使用ByteArrayOutputStream作为OutputStream。

InputStream input = null; 
ByteArrayOutputStream output = null; 
try { 
    input = license.openStream(); 
    output = new ByteArrayOutputStream(); 
    byte[] buffer = new byte[1024]; 
    for (int length; (length = input.read(buffer)) > 0;) { 
     output.write(buffer, 0, length); 
    } 
} finally { 
    if (output != null) try { output.close(); } catch (IOException logOrIgnore) {} 
    if (input != null) try { input.close(); } catch (IOException logOrIgnore) {} 
} 

byte[] bytes = output.toByteArray(); 

然而，这仍然花费尽可能多的内存一样大的文件，这只是现在的文件大小不是5次了，因为你最初与ArrayList<Integer>做和byte[]之后。

---

更新：您愿意为每次您的评论作为其存储在数据库中。您也可以在不将整个文件存储在Java内存中的情况下执行此操作。只需使用PreparedStatement#setBinaryStream()将获得的InputStream立即写入数据库。

final String SQL = "INSERT INTO file (filename, contentType, content) VALUES (?, ?, ?)"; 
String filename = FilenameUtils.getName(license.getName()); 
InputStream input = license.openStream(); 

Connection connection = null; 
PreparedStatement statement = null; 
try { 
    connection = database.getConnection(); 
    statement = connection.prepareStatement(SQL); 
    statement.setString(1, filename); 
    statement.setString(2, getServletContext().getMimeType(filename)); 
    statement.setBinaryStream(3, input); 
    statement.executeUpdate(); 
} catch (SQLException e) { 
    throw new ServletException("Saving file in DB failed", e); 
} finally { 
    if (statement != null) try { statement.close(); } catch (SQLException logOrIgnore) {} 
    if (connection != null) try { connection .close(); } catch (SQLException logOrIgnore) {} 
}