CDC和ETL帮助/建议

Question

以下是背景。

我们有几个不同的客户，每个客户都有不同的后端源数据库。我们希望回到实时更改后端数据库，然后将数据转换为目标数据库中的目标模式。之后，向其他应用程序广播一条消息，提醒更改。

为此，我们需要CDC软件进行变更检测，然后使用一个好的ETL工具将数据转换并加载到目标数据库中。

到目前为止，我们已经看过IBM的CDC。研究仍处于初期阶段，但我只想让其他人承担这一责任。你推荐什么程序？我们是否正在以这种正确的方式进行......意思是CDC软件矫枉过正？

Answer 1

大多数数据库都有某种内置的CDC机制（Oracle肯定会这样做）。我会考虑应用发布/订阅模式，并使每个数据库成为发布者，并让目标订阅所有更改。其他应用程序也可以订阅进一步的通知。 NServiceBus是这种通信的一个很好的选择。如果你不想使用本地数据库CDC机制，那么你可以做一些简单的事情，并建立一些检测每个数据库供应商的变化（触发器，检查重做日志或其他）。