Kafka单机部署全攻略：从环境准备到生产级调优

一、为什么选择单机部署Kafka？

在分布式消息队列系统中，Kafka通常以集群形式运行以实现高可用和横向扩展。然而，单机部署在以下场景中具有独特价值：

1. 开发测试环境：开发者本地验证功能时无需搭建复杂集群
2. 小规模应用：数据量小、业务简单的内部系统
3. 教学演示：快速展示Kafka核心功能
4. 资源受限环境：如物联网边缘设备或轻量级云实例

单机部署的显著优势在于部署简单、资源占用可控，但需注意其局限性：无数据冗余、吞吐量受限、不适合生产级高可用场景。建议单机环境仅用于非关键业务或开发验证。

二、环境准备与依赖安装

2.1 系统要求

• 操作系统：Linux（推荐CentOS 7+/Ubuntu 18.04+）或macOS
• Java环境：JDK 8/11（LTS版本），建议使用OpenJDK或Oracle JDK
• 磁盘空间：至少10GB可用空间（根据数据量调整）
• 内存要求：建议4GB以上（生产环境需更高）

2.2 依赖安装

# Ubuntu示例：安装OpenJDK 11
sudo apt update
sudo apt install openjdk-11-jdk -y
# 验证Java安装
java -version
# 应输出类似：openjdk version "11.0.15" 2022-04-19

2.3 网络配置

单机环境需确保：

• 防火墙开放9092端口（默认Kafka端口）
• 配置主机名解析（可选但推荐）

# 临时设置主机名（重启失效）
sudo hostnamectl set-hostname kafka-single
# 永久生效需修改/etc/hostname并重启

三、Kafka安装与配置

3.1 下载与解压

# 下载最新稳定版（示例为3.6.0）
wget https://archive.apache.org/dist/kafka/3.6.0/kafka_2.13-3.6.0.tgz
# 解压到指定目录
tar -xzf kafka_2.13-3.6.0.tgz -C /opt/
ln -s /opt/kafka_2.13-3.6.0 /opt/kafka  # 创建软链接便于升级

3.2 核心配置修改

编辑/opt/kafka/config/server.properties，关键配置项：

# 监听地址（单机可设为0.0.0.0或127.0.0.1）
listeners=PLAINTEXT://:9092
# 日志存储路径（建议单独分区）
log.dirs=/var/lib/kafka-logs
# 允许删除topic（开发环境方便测试）
delete.topic.enable=true
# 单机模式需关闭集群相关配置
broker.id=1  # 唯一标识，单机可固定为1
zookeeper.connect=localhost:2181  # 若使用嵌入式Zookeeper

3.3 启动服务

# 启动Zookeeper（Kafka 2.8+支持KRaft协议可跳过此步）
/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties
# 启动Kafka
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
# 验证服务状态
jps | grep Kafka
# 应看到Kafka进程

四、生产环境调优建议

4.1 内存配置优化

修改kafka-server-start.sh中的JVM参数：

# 修改前
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
# 修改后（根据机器内存调整，建议不超过总内存的1/3）
export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"

4.2 日志存储优化

# 分段大小（默认1GB，小文件场景可调小）
segment.bytes=104857600  # 100MB
# 保留策略（按时间或大小）
log.retention.hours=168  # 7天
log.retention.bytes=1073741824  # 1GB

4.3 网络性能优化

# 增加socket缓冲区
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
# 调整线程数
num.network.threads=3
num.io.threads=8

五、基础操作示例

5.1 创建Topic

/opt/kafka/bin/kafka-topics.sh --create \
  --bootstrap-server localhost:9092 \
  --replication-factor 1 \
  --partitions 1 \
  --topic test-topic

5.2 生产者测试

/opt/kafka/bin/kafka-console-producer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic
# 输入测试消息后按Ctrl+D结束

5.3 消费者测试

/opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic \
  --from-beginning

六、常见问题解决方案

6.1 端口冲突

现象：启动失败，日志显示Address already in use

解决：

# 查找占用端口的进程
netstat -tulnp | grep 9092
# 终止冲突进程或修改Kafka端口

6.2 日志目录权限不足

现象：java.io.IOException: Permission denied

解决：

sudo chown -R kafka:kafka /var/lib/kafka-logs
# 或修改log.dirs到有权限的目录

6.3 内存不足

现象：OOM错误或频繁GC

解决：

• 调整JVM堆大小（如前文所述）
• 监控内存使用：free -h和top

七、升级与维护

7.1 版本升级

# 1. 停止服务
/opt/kafka/bin/kafka-server-stop.sh
# 2. 备份数据（可选）
cp -r /var/lib/kafka-logs /backup/
# 3. 下载新版本并解压
# 4. 修改配置（如有需要）
# 5. 启动新版本

7.2 监控指标

关键监控项：

• UnderReplicatedPartitions（单机应为0）
• RequestQueueTimeMs（请求队列时间）
• NetworkProcessorAvgIdlePercent（网络线程空闲率）

可通过JMX或Kafka自带的监控脚本获取：

/opt/kafka/bin/kafka-run-class.sh kafka.tools.JmxTool \
  --jmx-url localhost:9999 \
  --object-name kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec \
  --attributes Count \
  --one-time true

八、替代方案：KRaft模式

Kafka 2.8+引入的KRaft协议可无需Zookeeper：

# 修改server.properties
process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093

启动命令：

/opt/kafka/bin/kafka-storage.sh format \
  --config /opt/kafka/config/kraft/server.properties \
  --cluster-id $(/opt/kafka/bin/kafka-storage.sh random-uuid)
/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties

九、总结与最佳实践

1. 资源隔离：建议使用独立磁盘存储日志
2. 定期维护：每周检查磁盘空间和日志清理
3. 备份策略：定期备份重要topic数据
4. 监控告警：设置磁盘空间和内存使用告警
5. 版本管理：记录每次配置变更和版本升级

单机部署Kafka是开发测试的高效选择，但需明确其适用场景。对于生产环境，建议至少3节点集群部署以保障数据可靠性和服务可用性。通过合理配置和监控，单机Kafka也能在特定场景下发挥重要作用。