并发文件处理

Question

我有一个动态保存大量文件的目录。目前有一项任务会不时列出文件并按顺序处理它们（写入数据库）。由于文件数量的增加，有必要对这些文件进行并行处理。你能给我一些想法和java代码示例吗？

Answer 1

创建一个类saver extends Thread并处理那里的文件操作（在run()方法中）？

---

http://download.oracle.com/javase/tutorial/essential/concurrency/

http://download.oracle.com/javase/7/docs/api/java/lang/Thread.html

Answer 2

这不是如果你熟悉Java并发真的很明显，所以我会采取一看的Java Concurrency Tutorial开始。这是一个开始的好地方。

然后请记住，任何需要被多个线程访问的对象都应该是不可变的或同步的。

之后，您可以使用ExecutorService拥有一个线程池，并且有多个线程可以同时运行。

我知道，这是不一样的过程实质上但假设你知道如何处理这些文件，你可以在下面的问题就来看看关于在不同的上下文中多线程： questions around synchronization in java; when/how/to what extent

Parallel-processing in Java; advice needed i.e. on Runnanble/Callable interfaces

Answer 3

使用一个ExecutorService。创建Executors.newFixedThreadExecutor(n);你也许可以使文件处理成一个单一的可运行（或可调用）任务，并将它传递的，你可以在

ExecutorService service = Executors.newFixedThreadExecutor(10); 

for(final File file : directory.listFiles()){ 
    service.submit(new Runnable(){ 
     public void run(){ 
      //do work here on file object 
     } 
    }); 
} 

Answer 4

工作文件看一看的java.nio中的监视在役API 。文件。以下是文档和教程：http://download.oracle.com/javase/tutorial/essential/io/notification.html

此服务允许您在目录上注册文件通知更改。对于每一个通知，你可以做任何你想要的处理。可能比实现你自己的事容易得多。

Answer 5

如果我正确理解你的单个任务处理从读取到数据库加载。您可以根据性质（以数据库为中心，以CPU为中心或以IO为中心）将此任务分解为不同的任务。例如，您可以执行以下不同的任务：

1. 当前任务，从目录中选取文件并将其传递给下一个任务。

2. IO Centric - 新任务读取文件并存储在内存中，然后传递给下一个taks。

3. 以数据库为中心 - 新任务将数据从内存加载到数据库，然后清理内存。

4. 以IO为中心 - 将文件移动到其他地方。

要进一步提高性能，可以使用线程池实现任务2,3,4。这将允许并行处理多个文件。根据任务的复杂性，您可以添加或删除列表中的任何任务以满足您的要求。