处理日志/交易量巨大

Question

我们有一个多线程企业应用程序，它部署在三个不同的数据中心，它们接收来自上游系统的队列中的XML消息。应用程序正在耗尽的数据量非常大，系统写入的日志大小为200GB /小时。日志保持一个非常短的时间。应用程序基本上写入cassandra DB/IBM Extreme Scale Grid/Oracle DB。现在确切的问题是，我们没有跟踪应用程序接收/处理的事务。说，与上游系统有很多数据同步问题，我们没有办法跟踪我们是否在一段时间后成功地收集/处理消息。由于我们的基础设施限制，我们也没有能力保存消息或将日志重定向到任何大数据文件系统。有没有办法解决这个问题。请给出您的意见和建议。提前致谢。

Answer 1

对于问题确定，最简单和最简单的方法是确保每个XML消息都有一个唯一的事务ID。因此，您的应用程序会记录/存储事务标识，而不是整个XML消息。当有问题时，您比较其中一个或多个缺失的事务id。并且缺少事务标识，您将发送方应用程序重新发送XML消息。