Linux系统下单机版Kafka部署全流程详解

一、部署前准备

1.1 环境要求检查

在开始部署Kafka前，必须确保Linux系统满足以下基础条件：

• 操作系统：建议使用CentOS 7+或Ubuntu 18.04+等主流发行版
• Java环境：Kafka需要Java 8或Java 11运行环境

  # 检查Java版本
  java -version

• 磁盘空间：至少预留10GB可用空间（根据消息存储需求调整）
• 内存资源：建议4GB以上空闲内存

1.2 防火墙配置

需要开放Kafka默认端口（9092）和Zookeeper端口（2181）：

sudo firewall-cmd --permanent --add-port=9092/tcp
sudo firewall-cmd --permanent --add-port=2181/tcp
sudo firewall-cmd --reload

二、安装与配置

2.1 下载Kafka安装包

推荐从Apache官网获取最新稳定版本（当前以3.5.0为例）：

wget https://downloads.apache.org/kafka/3.5.0/kafka_2.13-3.5.0.tgz
tar -xzf kafka_2.13-3.5.0.tgz
cd kafka_2.13-3.5.0

2.2 配置Zookeeper

Kafka依赖Zookeeper进行集群协调（单机版可使用内置Zookeeper）：

# 修改zookeeper.properties
vim config/zookeeper.properties

关键配置项：

dataDir=/tmp/zookeeper
clientPort=2181
maxClientCnxns=100

2.3 配置Kafka服务

修改server.properties核心参数：

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://[服务器IP]:9092
log.dirs=/tmp/kafka-logs
num.partitions=1
offset.topic.replication.factor=1
transaction.state.log.replication.factor=1

三、服务启动与验证

3.1 启动顺序

# 先启动Zookeeper（后台运行）
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
# 再启动Kafka服务
bin/kafka-server-start.sh config/server.properties &

3.2 创建测试Topic

bin/kafka-topics.sh --create \
    --bootstrap-server localhost:9092 \
    --replication-factor 1 \
    --partitions 1 \
    --topic test

3.3 消息生产与消费测试

# 启动生产者（新终端）
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 启动消费者（新终端）
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

四、系统优化建议

4.1 日志管理

# 修改config/log4j.properties
log4j.appender.kafkaAppender.MaxBackupIndex=10
log4j.appender.kafkaAppender.MaxFileSize=100MB

4.2 JVM调优

编辑bin/kafka-server-start.sh调整堆内存：

export KAFKA_HEAP_OPTS="-Xms2G -Xmx2G"

4.3 持久化配置

建议将数据目录迁移到独立磁盘：

log.dirs=/data/kafka

五、常见问题解决

5.1 端口冲突问题

错误现象：

Address already in use

解决方案：

netstat -tulnp | grep 9092
kill -9 [PID]

5.2 磁盘空间不足

监控脚本示例：

#!/bin/bash
used=$(df -h | grep /data | awk '{print $5}' | cut -d'%' -f1)
if [ $used -gt 80 ]; then
    echo "WARNING: Disk space low" | mail -s "Kafka Alert" admin@example.com
fi

5.3 消息堆积处理

临时扩容分区：

bin/kafka-topics.sh --alter \
    --bootstrap-server localhost:9092 \
    --partitions 3 \
    --topic test

六、安全加固建议

6.1 启用SASL认证

1. 创建JAAS配置文件
2. 修改server.properties添加：

   security.inter.broker.protocol=SASL_PLAINTEXT
   sasl.mechanism.inter.broker.protocol=PLAIN

6.2 网络隔离

建议通过iptables限制访问来源：

iptables -A INPUT -p tcp --dport 9092 -s 192.168.1.0/24 -j ACCEPT
iptables -A INPUT -p tcp --dport 9092 -j DROP

七、监控与维护

7.1 基础监控指标

• 活跃控制器数量
• 未复制分区数
• 网络请求率
• 磁盘使用率

7.2 推荐监控工具

1. Kafka Manager
2. Prometheus + Grafana
3. Burrow（消费延迟监控）

八、总结

本文完整演示了在Linux系统部署单机版Kafka的全流程，涵盖从环境准备到安全加固的各个环节。实际生产环境中建议根据业务需求调整配置参数，对于重要场景应考虑搭建Kafka集群保证高可用性。Kafka作为分布式消息系统的核心组件，其单机部署模式适合开发测试环境快速验证业务逻辑，掌握单机部署是理解Kafka工作原理的重要基础。