Kafka单机环境部署指南：从零搭建到配置优化

一、部署前准备

1.1 硬件需求

建议配置至少4核CPU、8GB内存和100GB SSD存储空间。实测表明，SSD可将Kafka的吞吐量提升3-5倍（相比机械硬盘）。内存分配应保证：

• JVM堆内存：建议4GB（通过KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"设置）
• 系统缓存：剩余内存用于OS页缓存

1.2 软件依赖

• Java 8/11（推荐OpenJDK 11）：

  sudo apt install openjdk-11-jdk
  java -version  # 验证版本

• ZooKeeper 3.5+（Kafka 2.8+后可选用内置KRaft模式）

二、安装与配置

2.1 二进制包安装

wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -xzf kafka_*.tgz
cd kafka_*

2.2 关键配置文件

1. config/server.properties核心参数：

   broker.id=0  # 单机环境固定为0
   listeners=PLAINTEXT://:9092
   log.dirs=/data/kafka-logs  # 建议使用独立磁盘
   num.partitions=3  # 默认分区数
   auto.create.topics.enable=false  # 生产环境建议关闭

2. ZooKeeper配置（若使用独立服务）：

   dataDir=/var/lib/zookeeper
   clientPort=2181
   maxClientCnxns=60  # 单机环境可降低

三、服务启动与验证

3.1 启动顺序

1. 先启动ZooKeeper：

   bin/zookeeper-server-start.sh config/zookeeper.properties &

2. 再启动Kafka：

   KAFKA_HEAP_OPTS="-Xms4G -Xmx4G" bin/kafka-server-start.sh config/server.properties

3.2 功能测试

# 创建测试主题
bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 1 
# 启动控制台生产者
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
# 另启终端启动消费者
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

四、性能优化要点

4.1 磁盘I/O优化

• 设置log.flush.interval.messages=10000（默认10000）
• 调整num.io.threads=8（默认8，建议不超过CPU核心数）

4.2 网络参数

socket.send.buffer.bytes=102400  # 发送缓冲区
socket.receive.buffer.bytes=102400  # 接收缓冲区

4.3 JVM调优

export KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20"

五、监控与维护

5.1 基础监控指标

• 使用kafka-run-class.sh kafka.tools.JmxTool获取JMX数据
• 关键指标：
  • UnderReplicatedPartitions
  • RequestQueueSize
  • NetworkProcessorAvgIdlePercent

5.2 日志管理

log.retention.hours=168  # 默认保留7天
log.segment.bytes=1073741824  # 单个日志段1GB

六、常见问题解决方案

6.1 端口冲突

错误现象：

Address already in use

解决方案：

netstat -tulnp | grep 9092  # 查找占用进程
kill -9 <PID>  # 终止冲突进程

6.2 磁盘空间不足

预防措施：

1. 设置自动清理策略：

   log.cleanup.policy=delete
   log.retention.bytes=53687091200  # 50GB上限

七、进阶建议

7.1 安全性配置（可选）

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

7.2 与周边生态集成

• 使用kafka-connect单机模式接入MySQL等数据源
• 通过KSQLDB进行流处理

注：本文所有配置均基于Kafka 3.6.0版本验证，建议读者在执行前先进行测试环境验证。单机部署仅适用于开发测试场景，生产环境必须采用集群部署。