提高预处理大量文档集的性能

Question

我正在使用Java处理与剽窃检测框架相关的项目。我的文档集包含大约100个文档，我必须对它们进行预处理并存储在合适的数据结构中。我有一个很大的问题，我将如何高效地处理大量文档并避免瓶颈。主要关注我的问题是如何提高预处理性能。

感谢

问候 Nuwan

Answer 1

你给上作出任何好的建议很少的信息。

我的默认设置是使用一个执行程序来处理它们，该执行程序的线程池的线程数与每台线程处理文档的核心数相同。

Answer 2

你在这方面有点缺乏细节。适当的优化将取决于文档格式，平均文档大小，您如何处理它们以及您在数据结构中存储什么类型的信息等内容。不知道其中任何一个，一些通用的优化是：

1. 假设给定文件的前处理是独立于任何其他文件的预处理，并假设你正在运行一个多核心CPU ，那么你的工作量是多线程的一个很好的候选者。为每个CPU核心分配一个线程，并将作业排除在线程之外。然后您可以并行处理多个文档。

2. 更一般地说，尽可能在内存中尽可能多地做。尽量避免读取/写入磁盘。如果您必须写入磁盘，请尝试等待，直到获得所有要写入的数据，然后将其全部写入单个批处理中。