2017-09-06 110 views
0

我使用表输入步骤从oracle数据库中提取数据,并通过一些串联加载到Apache Kafka生产者(输出步骤)。提取200万行花费近6分钟(包含表50列)。通过查看它的日志,我发现表输入步骤需要更长时间。如何提高表格输入步骤中的性能?改善pentaho表输入步骤性能

enter image description here

回答

0

此外,日志可能会产生误导:如果ConcatField或卡夫卡领域是缓慢的,然后输入表将通过自身缓慢的不是,而是因为它是不能够将数据发送到下一个脚步。

首先检查可疑的输入表是否有罪:删除ConcatFields和Kafka步骤并用虚拟步替换它们。如果它仍然需要6分钟,那么这是纯粹的Oracle DBA优化。

+0

发现问题是与卡夫卡生产者的步骤,使我的表输入缓慢。你能提出任何想法来改善卡夫卡生产者步骤绩效吗? – Anjana

+0

对不起,我对Kafka了解不够(这是第三方插件的方式)。我的建议是将问题提交给SOF/apache-kakfa,并提及您在卡夫卡制作人中使用的参数。您可能会被重定向到Kafka配置。 – AlainD