一、为什么选择Docker部署Kafka单机版？

Kafka作为分布式消息队列系统的代表，其核心设计依赖于多节点协作实现高可用性和吞吐量。但在开发测试场景中，单机部署Kafka具有显著优势：

1. 资源隔离性：通过Docker容器化部署，Kafka进程与宿主机环境完全隔离，避免与其他服务产生端口冲突或依赖冲突。
2. 环境一致性：Docker镜像封装了完整的运行环境（包括Zookeeper依赖），确保不同开发人员获取相同的部署结果。
3. 快速迭代能力：容器启动时间通常在秒级，配合docker-compose可实现一键部署/销毁，极大提升开发效率。
4. 轻量级验证：单机环境即可模拟生产环境的核心功能（如消息生产/消费），无需搭建复杂集群即可验证业务逻辑。

典型应用场景包括本地开发调试、CI/CD流水线测试、教学演示等。值得注意的是，单机版Kafka的持久化能力和故障恢复能力有限，不建议用于生产环境。

二、环境准备与前置条件

2.1 系统要求

• 操作系统：Linux（推荐Ubuntu 20.04+）/macOS（Docker Desktop 4.0+）/Windows 10（WSL2）
• 资源需求：
  • CPU：双核以上
  • 内存：4GB以上（建议8GB）
  • 磁盘空间：至少10GB可用空间
• 软件依赖：
  • Docker Engine 20.10+
  • Docker Compose 1.29+
  • curl/wget（用于测试）

2.2 网络配置要点

Kafka默认使用9092端口（客户端通信）和2181端口（Zookeeper），需确保：

1. 宿主机防火墙放行上述端口
2. Docker网络模式选择host（直接使用宿主机网络）或自定义桥接网络
3. 如需外部访问，需配置端口映射：-p 9092:9092

2.3 存储规划建议

Kafka对磁盘I/O敏感，建议：

• 使用SSD存储容器数据
• 为Kafka容器绑定专用卷（避免使用默认的容器层存储）
• 配置合理的日志保留策略（默认7天）

三、Docker部署Kafka实战步骤

3.1 使用Docker官方镜像

Kafka官方提供bitnami/kafka镜像，已集成Zookeeper依赖，适合快速部署：

docker run -d \
  --name kafka \
  -p 9092:9092 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  bitnami/kafka:latest

关键参数说明：

• ALLOW_PLAINTEXT_LISTENER：允许非加密连接（开发环境适用）
• ADVERTISED_LISTENERS：告知客户端如何连接Broker

3.2 使用docker-compose实现优雅管理

创建docker-compose.yml文件：

version: '3'
services:
  zookeeper:
    image: bitnami/zookeeper:latest
    environment:
      ALLOW_ANONYMOUS_LOGIN: yes
    ports:
      - "2181:2181"
  kafka:
    image: bitnami/kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      ALLOW_PLAINTEXT_LISTENER: yes
    volumes:
      - kafka_data:/bitnami/kafka
volumes:
  kafka_data:
    driver: local

启动命令：

docker-compose up -d

优势分析：

• 自动处理服务依赖关系
• 数据持久化到宿主机
• 方便扩展为多Broker集群

3.3 配置优化要点

1. 内存限制：通过-e KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"限制JVM堆内存
2. 日志配置：修改log.retention.hours和log.segment.bytes控制存储
3. 副本因子：单机环境下需设置offsets.topic.replication.factor=1

四、功能验证与基础使用

4.1 创建测试Topic

docker exec -it kafka \
  bash -c "kafka-topics.sh --create --topic test-topic \
  --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1"

4.2 生产者/消费者测试

启动生产者：

docker exec -it kafka \
  bash -c "kafka-console-producer.sh --topic test-topic \
  --bootstrap-server localhost:9092"

启动消费者：

docker exec -it kafka \
  bash -c "kafka-console-consumer.sh --topic test-topic \
  --from-beginning --bootstrap-server localhost:9092"

4.3 性能简单测试

使用kafka-producer-perf-test.sh进行基准测试：

docker exec -it kafka \
  bash -c "kafka-producer-perf-test.sh \
  --topic perf-test --num-records 1000000 \
  --record-size 1000 --throughput -1 \
  --producer-props bootstrap.servers=localhost:9092 \
  --print-metrics"

五、常见问题解决方案

5.1 连接拒绝问题

现象：客户端报错Connection to node 1 refused
原因：

• 广告监听器配置错误
• 防火墙拦截
  解决：

1. 检查ADVERTISED_LISTENERS配置
2. 临时关闭防火墙测试：sudo ufw disable

5.2 磁盘空间不足

现象：Kafka容器频繁重启
诊断：

docker exec -it kafka df -h /bitnami/kafka

解决：

1. 清理旧日志：kafka-delete-records.sh
2. 调整log.retention.bytes参数

5.3 性能瓶颈优化

症状：消息延迟高
优化方向：

1. 增加num.network.threads和num.io.threads
2. 调整message.max.bytes和replica.fetch.max.bytes
3. 使用SSD存储

六、进阶使用建议

1. 多Broker模拟：通过修改docker-compose启动多个Kafka容器，配置不同的broker.id和监听端口
2. 监控集成：连接Prometheus+Grafana监控关键指标（如UnderReplicatedPartitions）
3. 安全加固：生产环境应配置SASL_SSL认证，修改SECURITY_PROTOCOL和SASL_MECHANISM等参数
4. 备份恢复：定期备份/bitnami/kafka/data目录，支持快速恢复

七、总结与最佳实践

1. 开发环境配置：建议分配2GB内存给Kafka容器，设置合理的日志保留策略
2. CI/CD集成：将docker-compose文件纳入版本控制，实现环境快速复现
3. 调试技巧：使用kafka-topics.sh --describe和kafka-consumer-groups.sh诊断问题
4. 版本管理：固定镜像版本（如bitnami/kafka:3.4）避免意外升级

通过Docker部署Kafka单机版，开发者可以在10分钟内完成环境搭建，将更多精力投入到业务逻辑开发中。建议定期更新镜像版本以获取安全补丁，同时保持开发环境与生产环境配置的一致性。