在Logstash和Kafka中排列消息的优先级

我们将从logstash将不同来源的不同日志提供给kafka。会有一些特定的（或某些格式）消息，kafka的消费者会比其他消息更感兴趣。我们如何优先处理消息？在Logstash和Kafka中排列消息的优先级

一个想法是在kafka中创建两个主题 - 1）high_priority_topic 2）low_priority_topic，然后在logstash中使用过滤器将感兴趣的消息推送到high_priority_topic，并将其余消息推送到其他消息。这可能吗？

有没有推荐的方法呢？

来源

2016-07-07 seba_sencha

使用任一标签或输入logstash来区分high_priority和low_priority，然后有两个卡夫卡输出。

if CONDITIONAL { 
    kafka { 
    topic => "high_priority_topic" 
    ... 
    } 
} 
else { 
    kafka { 
    topic => "low_priority_topic" 
    ... 
    } 
}

使用类型为条件会是什么样

[type] == "high_priority"

使用标记它看起来像

"high_priority" in [tags]

来源

2016-07-07 21:03:53

在Logstash和Kafka中排列消息的优先级

回答

相关问题