我使用此脚本http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/将csv文件导入到neo4j。该文件相当大:约6000万行。我为性能分配了30GB内存,30GB用于节点,其余30GB。但是,进口商陷入了4900万行。这是记忆问题吗?Groovy neo4j批量导入
的输出如下所示在x秒在Y秒 处理 48900000线加工这
48800000线,然后将其停止处理,是不动的。
我使用此脚本http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/将csv文件导入到neo4j。该文件相当大:约6000万行。我为性能分配了30GB内存,30GB用于节点,其余30GB。但是,进口商陷入了4900万行。这是记忆问题吗?Groovy neo4j批量导入
的输出如下所示在x秒在Y秒 处理 48900000线加工这
48800000线,然后将其停止处理,是不动的。
你错过了关系吗? 那些是最关键的 我忘了一个在最初的例子,这是每个节点的
neostore.relgroupstore.db=10MB
15字节 38字节每关系 每4 42个字节属性
而且做你有128GB的内存?为了适应内存映射?
你在使用什么操作系统?
哦,并在最后停止相当长的时间来创建索引和约束,可能是这种情况。
您可以在此之前添加输出。
我在Linux上。我目前的机器有超过100GB的RAM,是的。我在阅读您的文章后确实添加了关系。这次索引了4500万个节点需要大约20分钟的时间。 – Anastasia 2014-11-25 00:10:07
什么是“卡住”?错误,例外,没有任何反应,100%的CPU,交换,...? – cfrick 2014-11-14 18:23:50
没有任何反应。我现在会更新这个问题 – Anastasia 2014-11-14 18:33:41
是你的db服务器做的所有工作吗?冲洗所有的批次信息或GC地狱了吗? – cfrick 2014-11-14 18:55:41