Apache Flume假脱机目录重复事件

Question

Apache Flume用户指南说假脱机目录源可能会在某些情况下复制事件。 以下是文档中的内容： “尽管此源的可靠性保证，但仍有一些情况可能会在发生某些下游故障时重复发生事件。”

这些情况是什么？特别是如果我们使用像文件通道的持久通道，我没有看到任何重复事件发生的原因？

Answer 1

您将文件通道描述为持久。你没有说过，只有一次交付。

Flume的保证是至少一次交付。在失败时，批次将被重新发送。这可能会导致重复的事件。

示例：节点1正在向节点2发送事件。所有事件都会发送并且节点2会确认接收。然而。网络条件是这样的，消息丢失。节点2存储了批处理，但节点1将重新发送它。因此，重复的事件。