我应该使用什么策略/技术来进行这种复制？

Question

我目前面临的一个问题还没有找到好的解决方案，所以希望能得到大家的一些建议。

我如图片

数据库的核心问题是，所有的客户端连接到管理实时数据是真的大，忙碌的时间。

功能数据库并不经常使用，但它需要来自核心数据库的一部分实时数据（可能是5％），但是对该服务器的请求任务将花费更长的时间并消耗大量资源。

什么是我目前的解决方案：

1. 我用数据库的核心&特征库之间的数据库复制，它工作正常。但是 问题是我浪费了大量的磁盘空间来存储不需要的数据。 （过滤虽然复制数据不适用于我的数据库模式）

2. 使用排队系统不会使数据按时生效，因为有许多对核心数据库的请求。

如果您遇到此问题，请提出一些建议吗？

感谢，

庞

Answer 1

定义什么是一个典型的数据集成任务。您可以使用任何数据集成工具从核心数据库提取数据并加载到特色数据库中。您可以将数据集成作业从实时调度到任何时间范围。

我在我的中型（10GB）半科学PostgreSQL数据库集成项目中使用了Talend。它工作得很好。您也可以尝试SQL Server Integration Services (SSIS)。这个工具也非常强大。它适用于所有顶级RDBMS。

Answer 2

如果你只是担心磁盘空间，我会坚持你现在的解决方案。现在，100GB的磁盘空间不到1美元 - 为此，您无法真正负担将新解决方案带入系统。从逻辑上讲，在同一个应用程序中保留过滤的情况也是如此 - 保持知道哪些记录与应用程序本身相关的责任，而不是在某个神秘的集成层中，这将减少整体解决方案的复杂性。如果您真的需要，只接受特殊集成层的额外复杂性。