Q

如何在数据库中加载更多数据ETL

2016-04-03 83 views 0 likes

0

我有6.5 GB数据，其中包含输入表中的900000行****（tPostgresqlInput）**，我试图将相同的数据加载到我的输出表中（tPostgresqlOutput ），而运行的工作，我没有得到任何来自我的输入表的回应，是否有任何解决方案来加载数据？请参阅我的附件如何在数据库中加载更多数据ETL

2016-04-03 GOPALAKRISHNAN

+1

6.5G/900K：=你的平均行大小是> 7K。这对我来说看起来不太理智。 – joop

+0

当你拥有700MB范围内的LOB时，情况开始变得有趣:)但talend可以使用默认设置处理这些情况。 –

A

回答

0

您需要制定一个策略来检索更多可管理的数据块，例如根据行ID划分数据。这样，它不会花费太多的内存或时间来检索数据。

您也可以将作业的默认内存限制从1 GB提高到更高的数字。

如果您的作业与您的数据库服务器在同一个网络上运行，那也可以提高性能。

2016-04-03 22:53:15 dbh

0

确保您在输入高级设置中启用了使用光标。默认的1k值很好。也启用类似的输出上的批量大小。

通过启用此Talend将一次处理1k条记录。

2016-04-04 08:54:49

0

如果这两个表在同一个数据库中，您可以尝试使用Talend ELT组件不要按下您处理数据库。看看对以下组件的集合： https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlInput https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlMap https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlOutput

2016-04-13 08:57:33

相关问题