卡夫卡连接教程停止工作

Question

我下面的步骤＃7在此链接（使用卡夫卡连接导入/导出数据）：

http://kafka.apache.org/documentation.html#quickstart

这是工作顺利，直到我删除了“的test.txt”文件。主要是因为这是log4j文件的工作原理。经过一段时间后，该文件将旋转 - 我的意思是 - 它将被重命名为&具有相同名称的新文件将开始写入。

但之后，我删除了'test.txt'，连接器停止工作。我重新启动了连接器，代理，zookeeper等，但'test.txt'中的新行不会进入'连接测试'主题&，因此不会进入'test.sink.txt'文件。

我该如何解决这个问题？

Answer 1

连接器会保留其“从文件中读取的最后位置”的选项卡，以防万一它在读取文件时崩溃，它可以继续停止。

问题是你删除了文件而没有将偏移量重置为0，所以它基本上看不到任何新的数据，因为它等待新数据显示从一开始就从特定字符数开始......

解决方法是重置偏移量。如果您在独立模式下使用连接，默认情况下，偏移将保存在/tmp/connect.offsets中，只需从那里删除它们即可。

从长远来看，我们需要更好的文件连接器:)