集装箱卡夫卡客户端产生的错误信息给主机服务器卡夫卡

Question

有许多相似类型的查询上的计算器，但没有完全匹配，我看到了问题的时候。

我在我的服务器上有一个zookeeper/kafka安装程序，它可以很好地工作。人们可以产生

bin/kafka-console-producer.sh --broker-list 192.168.2.80:9092 --topic test 

和消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.80:9092 --topic test --from-beginning 

本地的Linux操作系统Ubuntu 16.04服务器上。

从Docker容器 - 也运行Ubuntu 16.04 - 我想生产和消费。容器的Kafka代码是从服务器上复制的。 首先，我可以从容器中创建一个新的话题

bin/kafka-topics.sh --create --zookeeper 192.168.2.80:2181 --replication-factor 1 --partitions 1 --topic test2 

，然后再列出它

bin/kafka-topics.sh --list --zookeeper 192.168.2.80:2181 

然而，当我试图产生新的消息，使用上述（kafka-console-producer.sh ）命令失败，并显示以下消息：

[2017-06-05 13:59:05,317] ERROR Error when sending message to topic test2 with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) 
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test2-0: 1526 ms has passed since batch creation plus linger time 

紧接在输入消息文本后按回车。

在同一个主机上运行Docker容器似乎有点奇怪，但是一旦这个工作正常，我将把容器移动到一个单独的主机进行生产。

我卡夫卡server.properties文件：

listeners=PLAINTEXT://0.0.0.0:9092 

卡夫卡版本：

2.12-0.10.2.1 

泊坞版本：

Docker version 1.12.6, build 78d1802 

Answer 1

你的生产商（容器）无法解析您的Linux客户操作系统的主机名，它在Kafka生产者对引导程序服务器的初始元数据请求中返回。您可以手动将其添加到容器内的/ etc/hosts文件中，或将“--add-host”参数添加到启动运行制作者的映像的docker run命令中。

Answer 2

Aha！ 经过进一步阅读和解决方案上面给出的答案来了。通常情况下，这是一件容易的事情。 卡夫卡server.properties文件的简单编辑：

advertised.listeners=PLAINTEXT://192.168.2.80:9092 

还要注意，在参数“听众”是不是在这个文件中设置。

Answer 3

由Kafka的协议如何工作引起的问题（略为简化）。给定一个“引导程序服务器”列表（例如localhost:9092），Kafka客户端将联系那些引导程序服务器，但随后使用由引导程序服务器（代理程序的advertised.listeners配置返回的实际Kafka代理的主机名，具体取决于您的Kafka/Docker设置，可能会设置为例如kafka:9092）。因此，在这里，客户端会与localhost:9092进行自助交谈（这将工作），但随后切换到kafka:9092（这将不起作用，“感谢”网络设置）。

幸运的是，有一种方法可以用“正常工作”的方式来配置Kafka + Docker，并且它不需要恶意软件，如摆弄主机的/etc/hosts文件等。作为其中的一部分，您需要设置一些（新）Kafka设置，但这些设置已添加到kafka的KIP-103: Separation of Internal and External traffic中。

这里有一个码头工人撰写（docker-compose.yml）一个片段演示了如何做到这一点：

--- 
version: '2' 
services: 
    zookeeper: 
    image: confluentinc/cp-zookeeper:3.2.1 
    hostname: zookeeper 
    ports: 
     - '32181:32181' 
    environment: 
     ZOOKEEPER_CLIENT_PORT: 32181 

    kafka: 
    image: confluentinc/cp-kafka:3.2.1 
    hostname: kafka 
    ports: 
     - '9092:9092' 
     - '29092:29092' 
    depends_on: 
     - zookeeper 
    environment: 
     KAFKA_BROKER_ID: 1 
     KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181 
     KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT 
     KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT 
     KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092 
     # Following line is needed for Kafka versions 0.11+ 
     # in case you run less than 3 Kafka brokers in your 
     # cluster because the broker config 
     # `offsets.topic.replication.factor` (default: 3) 
     # is now enforced upon topic creation 
     KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 

这里，关键的设置是：

• listener.security.protocol.map（其正在通过KAFKA_LISTENER_SECURITY_PROTOCOL_MAP设置）
• inter.broker.listener.name
• advertised.listeners

在上面的设置中，集装箱化的Kafka代理在localhost:9092上侦听来自主机的访问权限（例如，您的Mac笔记本电脑）和kafka:29092从其他容器访问。

完整的端到端示例可在以下网址获得： https://github.com/confluentinc/cp-docker-images/blob/v3.2.1/examples/kafka-streams-examples/docker-compose.yml（文档位于http://docs.confluent.io/3.2.1/cp-docker-images/docs/tutorials/kafka-streams-examples.html）。