加速文件系统访问？

Question

我的应用程序扫描文件系统的一部分，并且我的用户在扫描网络驱动器时报告它非常慢。测试我的代码，我发现了瓶颈：方法File.isFile(),File.isDirectory()和File.isHidden()，它们都调用fs.getBooleanAttributes(File f)。这种方法在Windows网络驱动器上似乎非常慢。我该如何提高性能？我能否以某种方式避免调用此方法？

Answer 1

你是如何建立这个文件列表？除非您同时在系统上显示每个文件，否则您应该有一些选项...

1. 只有在用户请求时才处理此信息。例如他们点击文件夹“Windows”，此时您可以在Windows中处理文件。
2. 在后台线程中处理此信息，给出更好的响应时间的错觉。

也许如果你展示你用来构建列表的代码，我们可以找到一些其他方面的改进。 （为什么不能根据用于收集信息的方法来推断类型？如果您调用GetFiles（）这样的方法，您是否已经知道返回的所有内容都是文件？）

Answer 2

防御性代码通常会调用那些isXYZ()方法，这是一种很好的做法。但是，正如你发现的那样，有时性能很差。

另一种方法是假定该文件是一个文件，它存在，它是可见的，可读的等，只是尝试和阅读它。如果不是那些东西，你会得到一个你可以捕捉到的异常，然后做检查以确定究竟出了什么问题。那样的话，你正在为常见情况进行优化（即一切正常），并且只在出现问题时才执行缓慢的操作。

Answer 3

I面对完全相同的问题

我们的解决方案非常简单：由于我们的目录结构遵循一个标准（其中没有名称中包含'。'字符的目录），所以我只遵循标准，应用了一个非常简单的启发式：“在我们的例子中，目录没有'。'字符在它的名字“。这种简单的启发式方法极大地减少了我们的应用程序必须调用java.io.File类的isDirectory（）函数的次数。

也许这是你的情况。也许在你的目录结构中，你可以知道一个文件是否只是它的命名约定。

Answer 4

以下是使用listFiles和使用isDirectory来遍历目录树的代码示例（我的代码使用通用回调实际上对每个目录和文件执行某些操作;如果我编码C＃，这将是一个委托） 。

正如您所看到的，listFiles方法实际上更加紧凑，易于理解，并且在本地驱动器（950毫秒vs 1000毫秒）和LAN驱动器（26秒，相对于28秒） 23000个文件。

对于远程连接的驱动器来说，加速可能很大，但是我无法测试这个工作。 有点令人惊讶的是，Windows RAS VPN到网络驱动器的加速仍然只有大约10％。

新代码

static public int processDirectory(File dir, Callback cbk, FileSelector sel) { 
    dir=dir.getAbsoluteFile(); 
    return _processDirectory(dir.getParentFile(),dir,new Callback.WithParams(cbk,2),sel); 
    } 

static private int _processDirectory(File par, File fil, Callback.WithParams cbk, FileSelector sel) { 
    File[]        ents=(sel==null ? fil.listFiles() : fil.listFiles(sel)); // listFiles returns null if fil is not a directory 
    int         cnt=1; 

    if(ents!=null) { 
     cbk.invoke(fil,null); 
     for(int xa=0; xa<ents.length; xa++) { cnt+=_processDirectory(fil,ents[xa],cbk,sel); } 
     } 
    else { 
     cbk.invoke(par,fil);             // par can never be null 
     } 
    return cnt; 
    } 

旧代码

static public int oldProcessDirectory(File dir, Callback cbk, FileSelector sel) { 
    dir=dir.getAbsoluteFile(); 
    return _processDirectory(dir,new Callback.WithParams(cbk,2),sel); 
    } 

static private int _processDirectory(File dir, Callback.WithParams cbk, FileSelector sel) { 
    File[]        ents=(sel==null ? dir.listFiles() : dir.listFiles(sel)); 
    int         cnt=1; 

    cbk.invoke(dir,null); 

    if(ents!=null) { 
     for(int xa=0; xa<ents.length; xa++) { 
      File      ent=ents[xa]; 

      if(!ent.isDirectory()) { 
       cbk.invoke(dir,ent); 
       ents[xa]=null; 
       cnt++; 
       } 
      } 
     for(int xa=0; xa<ents.length; xa++) { 
      File      ent=ents[xa]; 

      if(ent!=null) { 
       cnt+=_processDirectory(ent,cbk,sel); 
       } 
      } 
     } 
    return cnt; 
    } 

Answer 5

万一你有没有尝试过，呼吁getBooleanAttributes自己和执行必要的屏蔽会相当快，如果您正在同一个文件上执行多个检查。尽管这不是一个完美的解决方案（并且开始将代码推向特定平台），但它可以将性能提高3或4倍。虽然速度不如其快应该。

JDK7的java.nio.file.Path功能应该可以帮助这种事情。

最后，如果您对最终用户环境有任何控制权，建议您的用户配置他们的防病毒软件以不扫描网络驱动器。许多大的AV解决方案（不确定他们正在解决什么问题）默认情况下打开了。我不知道这可能会对各种File方法有什么影响，但是我们发现，配置不当的anit病毒可能会在几乎所有网络资源上的文件访问中导致严重的延迟问题。