如何解析Flume中的数据

Question

我想解析来自Flume/Kafka的数据。我已将Flume.conf文件配置为指向Kafka。我能够将数据文件从Flume传递给Kafka。我想知道如何解析数据以从Flume或Kafka中的数据文件中提取几个字段。有什么建议吗？谢谢

Answer 1

我想你可以创建自己的自定义Flume拦截器，以保留原始文件中的字段子集。 Flume拦截器是一段代码，它在源创建Flume事件后立即运行（配置时），并在将其放入通道之前运行;即它“拦截”该事件并在其有效地将其放入频道之前对其进行一些修改（无论是在头部中，还是在身体中）。

一旦创建，这是很容易配置，它的用法：

myagent.sources.mysource.interceptors = myinterceptor 
myagent.sources.mysource.interceptors.myintercetor.type = FQCN_of_your_interceptor_class 
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_1 = whatever 
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_2 = whatever 

拦截器类实现org.apache.flume.interceptor.Interceptorinterface。