2014-11-14 83 views
0

我使用此脚本http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/将csv文件导入到neo4j。该文件相当大:约6000万行。我为性能分配了30GB内存,30GB用于节点,其余30GB。但是,进口商陷入了4900万行。这是记忆问题吗?Groovy neo4j批量导入

的输出如下所示在x秒在Y秒 处理 48900000线加工这

48800000线,然后将其停止处理,是不动的。

+0

什么是“卡住”?错误,例外,没有任何反应,100%的CPU,交换,...​​? – cfrick 2014-11-14 18:23:50

+0

没有任何反应。我现在会更新这个问题 – Anastasia 2014-11-14 18:33:41

+0

是你的db服务器做的所有工作吗?冲洗所有的批次信息或GC地狱了吗? – cfrick 2014-11-14 18:55:41

回答

1

你错过了关系吗? 那些是最关键的 我忘了一个在最初的例子,这是每个节点的

neostore.relgroupstore.db=10MB

15字节 38字节每关系 每4 42个字节属性

而且做你有128GB的内存?为了适应内存映射?

你在使用什么操作系统?

哦,并在最后停止相当长的时间来创建索引和约束,可能是这种情况。

您可以在此之前添加输出。

+0

我在Linux上。我目前的机器有超过100GB的RAM,是的。我在阅读您的文章后确实添加了关系。这次索引了4500万个节点需要大约20分钟的时间。 – Anastasia 2014-11-25 00:10:07