卡夫卡从主题中读取有限列表

从卡夫卡主题中读取有限相关记录列表的最佳方式是什么？例如，包含几百条记录的db查询结果。我怎么会知道“结束”？标题中有简单的标志？卡夫卡从主题中读取有限列表

2017-10-15 user2824203

对于这种用例，Kafka不是一个好的选择。您必须记住与DB查询相对应的消息的开始和结束偏移量，并且还必须确保这些消息进入单个分区，否则它们可能会被添加到命令以及更多状态中以便记忆。如果您为每个查询使用一个专用主题，那会更好。卡夫卡不是一个很好的选择，即时创建和删除主题。

相反，对于您提到的用例，Redis列表将是更好的选择。

来源

2017-10-15 19:48:34

感谢您的信息。我正在评估kafka vs rabbitmq即将推出的项目。我看着ksql，但它在github的视线上说“dev only”。似乎尼朋的建议可能是要走的路。 – user2824203

听起来就像你试图查询卡夫卡。在这种情况下，您可能想尝试KSQL（https://github.com/confluentinc/ksql）。它允许你创建类似SQL的查询，如SELECT * FROM mytopic WHERE regionid LIKE'％_8'或者regionid LIKE'％_9'LIMIT 100;

来源

2017-10-16 00:41:28

卡夫卡从主题中读取有限列表

回答

相关问题