读取50GB的JSON文件并对其进行处理

Question

我有一个50GB的JSON文件，我希望被我的Java应用程序读取，每个记录都被转换为POJO并逐个放入一个队列中，由一个单独申请。

通常情况下，我会使用BufferedReader，但我想知道最佳做法是什么大小的文件。我目前正在看Java.nio。那会合适吗？

我还想处理文件，如果一个记录损坏不停止。可以这么说，我不想让一只鸡蛋破坏篮子。

Answer 1

你在找什么是流媒体反序列化，你可以使用gson，看到https://sites.google.com/site/gson/streaming的一些很好的例子。