Graphdb的loadrdf工具加载本体和数据速度很慢

我使用GraphDB loadrdf工具加载本体和相当大的数据。我将pool.buffer.size = 800000和jvm -Xmx设置为24g。我尝试了并行和串行模式。一旦回购总额报告超过10K，他们都放慢脚步。它最终会减慢到1或2个报表/秒。有谁知道这是否是loadrdf的正常行为，还是有办法优化性能？Graphdb的loadrdf工具加载本体和数据速度很慢

编辑我增加了元组索引内存。请参阅我的回购ttl配置的一部分：

owlim:entity-index-size "45333" ; 
owlim:cache-memory "24g" ; 
owlim:tuple-index-memory "20g" ; 
owlim:enable-context-index "false" ; 
owlim:enablePredicateList "false" ; 
owlim:predicate-memory "0" ; 
owlim:fts-memory "0" ; 
owlim:ftsIndexPolicy "never" ; 
owlim:ftsLiteralsOnly "true" ; 
owlim:in-memory-literal-properties "false" ; 
owlim:transaction-mode "safe" ; 
owlim:transaction-isolation "true" ; 
owlim:disable-sameAs "true";

但不知何故该过程仍然变慢。它以“全球平均速率：1,402 st/s”开头。但“回购报表中：61,831”之后放缓至“全球平均利率：20 st/s”。我给我的jvm：-Xms24g -Xmx36g

来源

2016-08-18 cwen

你可以请你的存储库配置吗？在它里面，有一个参数元组索引内存 - 这将决定我们被允许保留在内存中的变化量（光盘页面）。这个值越大，我们要做的冲量就越少。

检查是否在您的设置中将其设置为20G等值，然后重试该过程。

来源

2016-08-19 07:57:54 nikolavp

嗨@nikolavp，太感谢你了！下面请参阅ttl repo配置（我已经增加了元组索引 - 内存）。但不知怎的，这个过程仍然在减慢。它以“全球平均速率：1,402 st/s”开头。但“回购报表中：61,831”之后放缓至“全球平均利率：20 st/s”。我给我的jvm：-Xms24g -Xmx36g。 – cwen

我的回购的一部分：'owlim：entity-index-size“45333”; owlim：cache-memory“24g”; owlim：元组索引 - 内存“20g”; owlim：enable-context-index“false”; owlim：enablePredicateList“false”; owlim：谓词内存“0”; owlim：fts-memory“0”; owlim：ftsIndexPolicy“从不”; owlim：ftsLiteralsOnly“true”; owlim：in-memory-literal-properties“false”; owlim：交易模式“安全”; owlim：事务隔离“true”; owlim：disable-sameAs“true”;' – cwen

我从Windows任务管理器注意到的一件事 - CPU变得非常高，几乎100％忙碌。但内存使用量低至11GB左右，尽管我将jvm设置为36g，缓存内存设置为24g。你能告诉任何阻止内存使用的东西吗？ – cwen

我看了你仓库配置ttl。有这个参数：entity-index-size = 45333其值需要增加，例如，将其设置为1亿（entity-index-size = 100000000）。 GraphDB 7中该参数的默认值为10M，但由于您已经明确设置了它，所以它会被覆盖。

你可以阅读更多有关参数here

来源

2016-08-30 08:57:29 Venelin

Hi @ Venelin，非常感谢。我试过 - 更改了参数owlim：entity-index-size“100000000”。串行和并行模式的速度仍然很慢。在“回购声明：87,931”之后，它降至“全球平均费率：15 st/s”。内存使用量保持在12〜13GB左右，非常奇怪。我可以调整任何其他参数？ – cwen

Graphdb的loadrdf工具加载本体和数据速度很慢

回答

相关问题