具有多个表格的弹簧批量远程分区

Question

我开发了一个应用程序，我们必须从一个大型表格处理超过500万条记录。我们使用了spring批处理远程分区，它工作正常。

我现在必须使用相同的工作，并调整它为多个表创建分区。每个分区都有表名和最小和最大记录，因此从服务器知道哪个表必须读取数据并准备文件。

我的问题是，这是可以做的事情，如果是的话，那么是否有任何样品在github上。

谢谢

Answer 1

是的，这是可以做到的。您需要实施自己的Partitioner来处理为每个表/行范围创建ExecutionContexts的逻辑。

一对夫妇良好的资源优势：

• Partitioner接口文档：http://docs.spring.io/spring-batch/apidocs/org/springframework/batch/core/partition/support/Partitioner.html
• Spring Batch的的缩放和并行处理章第7.4节：http://docs.spring.io/spring-batch/trunk/reference/html/scalability.html
• 我介绍Spring Batch的视频覆盖分区：https://www.youtube.com/watch?v=CYTj5YT7CZU和相关的Github存储库：https://github.com/mminella/Spring-Batch-Talk-2.0