卡夫卡生产商生产数据的主题从PORT

Question

我是卡夫卡的新手。

我有一台Linux机器，其中端口号2552从外部服务器获取数据流。

我想使用卡夫卡生产者来监听那个端口并获取数据流到一个主题。

Answer 1

这是一个完整的黑客，而是将工作沙箱例如：

nc -l 2552 | ./bin/kafka-console-producer --broker-list localhost:9092 --topic test_topic 

它使用的netcat监听TCP端口上，并获得到卡夫卡的话题管什么。

一个快速谷歌也出现了这https://github.com/dhanuka84/kafka-connect-tcp这看起来做类似的事情，但更强大的，使用Kafka Connect API。

Answer 2

您不会说2552端口上的流量是TCP还是UDP，但通常情况下，您可以轻松编写一个程序来侦听该端口，将接收到的数据解析为离散消息，然后将数据发布到Kafka主题作为使用Kafka Producer API的Kafka消息（使用或不使用密钥）。

在某些情况下，现有的开源代码可能已经为您做了这些，所以您不需要从头开始编写代码。如果端口2552协议是众所周知的协议，例如在IANA中注册的TCP或UDP呼叫记录协议（请参阅ftp://www.iana.org/assignments/service-names-port-numbers/service-names-port-numbers.txt），那么甚至可能存在支持它的现有Kafka连接器或代理。在GitHub上搜索kafka-connect- [协议]，或者查看策划的连接器列表https://www.confluent.io/product/connectors/

甚至可能有一个通用的TCP或UDP连接器，您可以使用它作为参考来配置或构建自己的您尝试摄取的特定协议。