Apache Flume的好处

Question

我是Apache Flume的新成员。 我知道Apache Flume可以帮助传输数据。

但是我仍然没有看到Apache Flume提供的最终好处。 如果我可以配置软件或使软件发送哪些数据到哪里，为什么我需要Flume？

也许有人可以解释一下显示Apache Flume的好处吗？

Answer 1

可靠传输（如果您使用文件通道）： Flume发送批量小事件。每次向下一个节点发送一个批次时，它都会在删除之前等待确认。文件通道中的存储空间经过优化，可以在崩溃时进行恢复。

Answer 2

我认为从水槽中获得的最大好处是可扩展性。基本上所有从源头，拦截器和接收器开始的组件都是可扩展的。

我们使用flume并使用自定义kakfa源读取数据，数据是以JSON的形式，我们在自定义kafka源中解析它，然后将其传递到HDFS接收器。它在5个节点中可靠地工作。我们只扩展了kafka源代码，HDFS接收器功能我们拿出了盒子。

同时，来自Hadoop生态系统，您将得到很好的社区支持和多种选择，以不同的方式使用这些工具。