春季云中的卡夫卡源码和HDFS数据流数据流

Question

我使用Kafka作为源，并且我想使用HDFS接收器将卡夫卡上的消息写入HDFS。但是我看到文件在HDFS上创建，但是在卡夫卡上的消息没有写入HDFS文件。请在Stream DSL下面找到。

stream create --definition ":streaming > hdfs --spring.hadoop.fsUri=hdfs://127.0.0.1:50071 --hdfs.directory=/ws/output --hdfs.file-name=kafkastream --hdfs.file-extension=txt --spring.cloud.stream.bindings.input.consumer.headerMode=raw" --name mykafkastream 

请帮我解决这个问题。

Answer 1

这可能是数据没有写入hdfs磁盘呢。您可以在测试时强制刷新/同步。尝试设置--hdfs.enable-sync=true --hdfs.flush-timeout=10000这种方式每隔10秒将数据写入hdfs，无论缓冲区是否已满。