apache-kafka-connect

0热度

1回答

我有从.mongoDB数据库导出的.bson文件（3.4 GB大小）。我想通过kafka发送此文件数据并将其保存在cassandra表有没有人知道如何做到这一点通过kafka （.bson文件的数据作为kafka生产者和cassandra作为接收器）我知道kafka cassandra接收器和我正在使用它，但我想知道制片人提取.bson数据并将其发送到kafka。

1热度

1回答

Kafka-connect-hdfs：微小的文件和rotate.interval设置之间的区别

当我配置hdfs连接器时，我设置了“flush.size=3”和“rotate.interval.ms=5000”，我感到困惑的是它是否会生成大量简单文件，例如：数以万计的文件的... 我不想更琐碎的文件，还有没有其他可能的解决方案？另外，rotate.interval.ms和rotate.schedule.interval.ms有什么区别？

0热度

1回答

卡夫卡连接问题

我在CentOS 7（融合）安装了Apache卡夫卡，我试图运行FILESTREAM卡夫卡在分布式模式连接，但我得到以下错误： [2017-08-10 05:26:27,355] INFO Added alias 'ValueToKey' to plugin 'org.apache.kafka.connect.transforms.ValueToKey' (org.apache.kafka.con

1热度

2回答

Kafka Connect警报选项？

对于Kafka Connect Connector或Connector任务失败或遇到错误的情况，是否有任何警报选项？我们有卡夫卡连接运行，它运行良好，但我们有错误，需要手动跟踪和发现。通常，在人类发现问题之前，它一直处于错误状态。

0热度

1回答

我卡夫卡对Neo4j的信宿连接加载失败

简介：让我道歉对我的问题的任何含糊开始我会努力，我可以提供有关这个主题的尽可能多的信息（希望不要太多），请让我知道我是否应该提供更多。同样，我对卡夫卡颇为陌生，可能会在术语上磕磕绊绊。因此，根据我对sink和source的工作原理的了解，我可以使用Kafka Quickstart指南提供的FileStreamSourceConnector将数据（Neo4j命令）写入Kafka集群中的主题。然后

0热度

1回答

MySQL的卡夫卡ELK堆栈日期发行

我从创建资料撷取： MySQL --> Kafka --> Logstash --> Elasticsearch --> Kibana 我能够从MySQL管线数据，直到Kibana，但我现在面临的问题，同时处理在“日期”栏MySQL表。日期列在Kafka主题和ES文档中显示为EPOCH日期。我们可以在Elasticsearch/Logstash部分将它转换为日期格式“yyyy-mm-dd”吗？

0热度

1回答

kafka SourceTask类线程的poll（）方法是否安全？

我使用Kafka Connect以分布模式将数据从Web服务发送到Kafka（版本0.10.1）。 poll()method文档指出：轮询此SourceTask新记录。如果没有数据当前可用，应该阻止此方法。但是，我不确定是否可以由多个线程通过卡夫卡调用poll()方法。对Web服务的请求非常耗时，它们是以该方法完成的，我希望避免多次发送它们。有一个question指出版本0.10.2.1-

1热度

1回答

Kafka Connect + Zookepeer没有连接

我有一个kafka连接插件，部署在一个kafka集群中（独立模式下，仅用于测试，其想法是分发）。此kafka连接插件使用管理员连接到群集的zookeper，并从中获取一些信息以决定如何处理这些消息。的代码是这样的： protected CuratorFramework getCurator(final String zkConnection) { final CuratorFramew

0热度

1回答

这是一个阻止kafkastreams的正确方法吗？

我的工作是从远程数据库中获取数据并将它们加入到一个kafka流（富集）中。我现在想要做的是定期轮询远程数据库到本地内存。我认为当这个轮询操作发生时，kafka流应该暂时停止。我现在的想法是有这样的事情： @Autowired private KafkaStreams streams; @Scheduled(cron = "0 0/15 * * * *") // this method is

0热度

1回答

当我们有多个查询时，Kafka连接

当有多个表要插入时，我们如何使用Kafka Connect？我想实现Kafka连接接收器插入到多个Oracle表。