apache-kafka-connect

0热度

2回答

我们有一个用例，我们使用融合的Kafka连接到源和接收数据。它就像一个典型的ETL。我们想了解卡夫卡连接是否可以识别先前流之间的增量变化。即我们只想将改变的数据发送给客户端而不是整个表或视图。另外，我们不希望执行显式代码来通过源和目标数据库上的查询来识别更改。有没有其他的首选方法呢？

0热度

1回答

如何实现SSL握手之间卡夫卡连接REST API的

如何实现对卡卡，连接REST API的（POST /连接器）SSL（GET /连接器），（DELETE /连接器/（字符串：名称）它被要求作为，每当有用于REST API的从客户端的请求，那么它应该通过安全层来访问。

0热度

2回答

如何从流卡夫卡到卡桑德拉和增量计数器

我有Apache的访问日志文件，我想每个页面的存储访问数（总/每天/每小时）在卡桑德拉表。我试图通过使用连接卡夫卡从日志文件流的卡夫卡话题做。为了增加Cassandra中的度量指标，我可以再次使用Kafka Connect吗？否则，这里应该使用哪种其他工具，例如kafka流，火花，flink，kafka连接等？

0热度

2回答

是否有意义使用Apache卡夫卡对于这种情况？

有几个应用程序必须集成在一起，他们必须交换问题。所以他们中的一个会解决问题，然后做一些事情，然后改变这个问题的状态。其他可能涉及此问题的应用程序应该获得新的信息。这一直持续到问题达到最终状态结束。问题是必须映射问题，因为这些应用程序并不都支持相同的数据格式。我不知道是否总是发送整个问题还是只发送新状态作为事件。卡夫卡如何支持数据转换？如果我的问题有一个附件？（> 5MB）谢谢你的建议

0热度

1回答

在Kafka Connect中使用自定义转换器？

我正在尝试使用Kafka Connect的自定义转换器，但似乎无法正确使用它。我希望有人有这方面的经验，可以帮我弄明白！初始状态我的自定义转换器的类路径是custom.CustomStringConverter。为了避免任何错误，我的自定义转换器目前只是一个预先存在的StringConverter的复制/粘贴（当然，这将改变，当我将它的工作）。 https://github.com/apac

0热度

1回答

为什么Debezium会为所有表格创建主题，即使指定了table.whitelist

我正在使用Debezium插件来Kafka Connect来传输MySQL数据库更改。我已明确在 connector.properties table.whitelist提到了我的白名单表 = tripDriverMapping database.tables = azuga.tripDriverMapping 为什么Debezium会为数据库中的所有表创建主题？是否有任何解决方法可以避免创建所

0热度

1回答

Debezium可以配置table_name => kafka主题映射吗？

我读过http://debezium.io/docs/connectors/mysql/，但我找不到任何有关是否可以配置debezium的信息，以便可以将来自2（或更多）表的更改写入同一个单独的kafka主题？在我看来，它总是1表 - > 1主题。

0热度

1回答

为什么SourceConnectorConfig报告接收器连接器？

我正在尝试使用s predfast s3 connector创建一个Kafka接收器连接器。然而，出于某种原因，日志输出报告的是SourceConnectorConfig： INFO ConnectorConfig values: connector.class = com.spredfast.kafka.connect.s3.sink.S3SinkConnector ke

0热度

1回答

在kafka集群上启用ssl时，kafka连接无法启动

我正在评估kafka汇合平台4.0版。但是，当我在kafka集群上启用ssl时，kafka连接无法启动。详细记录如下： [2017-12-18 04:38:55,747] ERROR Uncaught exception in herder work thread, exiting: (org.apache.kafka.connect.runtime.distributed.Distribute

2热度

1回答

Kafka连接自定义timestamp.extractor

我试图从卡夫卡读取消息到S3，有问题添加jar到Kafka连接类路径。目标是根据时间戳在分区中写入消息，该时间戳是卡夫卡消息中密钥的一部分。为了使故事简短，我必须提供自定义时间戳提取器。在文档here之后创建了一个类，该类实现TimestampExtractor接口并将一个JAR位置添加到plugin.path属性。问题是，当我开始连接时，找不到类。不知怎的，罐子是不是在classpath中