Kafka Streams在处理可能需要多长时间时会超时？

Question

我在map/foreach期间使用调用外部系统的Kafka流。 map或foreach可以使用多长时间？

是否有任何警告阻塞很长一段时间（例如小时）？

Answer 1

没有超时适用于map/foreach。

但是，由于Kafka Streams在内部使用KafkaConsumer和KafkaProducer，所有超时均适用（例如max.poll.interval.ms）。您可以相应地配置它们，但不建议长时间阻止对外部系统的呼叫。

使用Kafka Connect将数据从外部服务加载到主题中，并在您的应用程序中以KTable的形式读取这些数据，可以实现流表连接而不是映射。这种方法将您的Streams应用程序与外部系统分离开来，从而使整体架构更加健壮。