以JSON行格式处理和查询大量大文件

Question

哪种技术最适合导入大量大型JSON行格式文件（每个文件大约2 GB）。

我在想索尔。

一旦数据将被导入，它将不得不被查询。

您会建议导入哪种技术，然后及时查询JSON行格式数据？

Answer 1

您可以根据需要得到有效Solr的JSON，它通过HTTP发送到Solr与您更喜欢一些脚本语言开始成型，读取线，按摩格式。会更快开始。

从长期来看，SolrJ将让你获得最大的PERF（如果需要），你可以：

1. 击中领导副本在Solrcloud环境直接
2. 使用多线程来摄取和发送文档（您也可以使用多个进程）。并不是说所有其他技术都难以或不可能实现，但在某些情况下是这样。
3. 您可以完全灵活地使用所有SolrJ api