引言

Kafka 作为分布式流处理平台的代表，凭借其高吞吐、低延迟的特性广泛应用于日志收集、实时分析等场景。然而，对于开发测试或小型项目，搭建完整的 Kafka 集群可能显得冗余。本文将聚焦 Docker 单机部署 Kafka，通过容器化技术实现轻量级部署，帮助开发者快速验证功能或进行本地开发。

一、为什么选择 Docker 单机部署 Kafka？

1. 环境隔离与一致性

Docker 容器将 Kafka 及其依赖（如 Zookeeper）封装在独立环境中，避免与宿主机系统冲突，同时确保不同项目间的配置隔离。例如，开发阶段可同时运行多个 Kafka 实例，分别对应不同微服务。

2. 快速启动与销毁

相比手动安装 Java、配置 server.properties 等步骤，Docker 只需一条命令即可启动 Kafka 服务。例如：

docker run -d --name kafka \
  -p 9092:9092 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  bitnami/kafka:latest

此命令在 10 秒内完成部署，适合频繁重启的测试场景。

3. 资源可控性

通过 Docker 的 -m（内存限制）和 --cpus（CPU 限制）参数，可精确控制 Kafka 容器资源。例如：

docker run -d --name kafka-limited \
  -m 1g --cpus=1.5 \
  bitnami/kafka:latest

避免因 Kafka 占用过多资源影响宿主机其他服务。

二、Docker 单机部署 Kafka 详细步骤

1. 环境准备

• Docker 安装：确保宿主机已安装 Docker（建议版本 ≥20.10）。可通过 docker --version 验证。
• 网络配置：若需从外部访问 Kafka，需配置宿主机的防火墙放行 9092 端口（或自定义端口）。

2. 使用 Bitnami 镜像部署

Bitnami 提供的 Kafka 镜像（bitnami/kafka）预装了 Zookeeper 和 Kafka，简化了配置流程。

基础部署命令

docker run -d --name kafka \
  -p 9092:9092 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  bitnami/kafka:latest

• -p 9092:9092：将容器内的 9092 端口映射到宿主机。
• ALLOW_PLAINTEXT_LISTENER=yes：允许未加密的连接（仅限测试环境）。
• KAFKA_CFG_ADVERTISED_LISTENERS：指定客户端连接的地址。

持久化存储配置

为避免容器重启后数据丢失，需挂载宿主机目录到容器：

docker run -d --name kafka-persistent \
  -p 9092:9092 \
  -v /path/to/kafka/data:/bitnami/kafka \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  bitnami/kafka:latest

3. 使用 Docker Compose 部署（推荐）

对于需要同时管理 Zookeeper 和 Kafka 的场景，推荐使用 docker-compose.yml：

version: '3'
services:
  zookeeper:
    image: bitnami/zookeeper:latest
    ports:
      - "2181:2181"
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
  kafka:
    image: bitnami/kafka:latest
    ports:
      - "9092:9092"
    depends_on:
      - zookeeper
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092

启动命令：

docker-compose up -d

三、验证 Kafka 功能

1. 创建 Topic

进入 Kafka 容器并执行：

docker exec -it kafka bash
kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

2. 生产与消费消息

生产消息

kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

输入任意文本后按回车发送。

消费消息

kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

若看到之前发送的消息，说明部署成功。

四、常见问题与解决方案

1. 客户端无法连接 Kafka

原因：ADVERTISED_LISTENERS 配置错误。
解决：若从外部访问，需将 localhost 替换为宿主机的 IP 或域名。例如：

-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.100:9092

2. 容器启动后立即退出

原因：Zookeeper 未就绪或配置错误。
解决：检查 docker logs kafka 查看错误日志，确保 ZOOKEEPER_CONNECT 地址正确。

3. 性能问题

优化建议：

• 调整 num.network.threads 和 num.io.threads（默认均为 3）。
• 增加 log.retention.hours 延长消息保留时间。

五、进阶配置

1. 多 Broker 模拟集群

通过修改 docker-compose.yml 启动多个 Kafka 实例：

services:
  kafka1:
    image: bitnami/kafka:latest
    environment:
      - KAFKA_CFG_BROKER_ID=1
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092
  kafka2:
    image: bitnami/kafka:latest
    environment:
      - KAFKA_CFG_BROKER_ID=2
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9093

2. 监控集成

结合 Prometheus 和 Grafana 监控 Kafka 指标：

1. 启用 JMX 导出：

   -e KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999"

2. 部署 Prometheus 抓取 JMX 数据。

六、总结

通过 Docker 单机部署 Kafka，开发者可在 5 分钟内完成从环境搭建到功能验证的全流程。本文提供的方案兼顾了易用性与灵活性，适用于以下场景：

• 本地开发测试
• 微服务架构的独立消息队列
• 教学演示

未来可进一步探索 Kubernetes 上的 Kafka Operator 或混合云部署方案，但 Docker 单机模式仍是快速验证的首选。