合并多个文件，并写入新文件没有重复在Java中

Question

我有2个文件以下内容

file1.txt 
stack 1 
overflow 2 
frequency 4 

file2.txt 
stack 2 
overflow 1 
terms 5 

我想将多个文件合并这样的创造与下面的输出

final.txt 
stack 3 
overflow 3 
terms 5 
frequency 4 

一个新的文件

注：文件是非常大的规模

任何人可以帮助什么是做这种方式吗？

Answer 1

您可以试试Spark。 Spark建立在分布式数据集的概念上，分布式数据集包含任意的Java或Python对象。您从外部数据创建数据集，然后对其应用并行操作。