单机部署Kafka：环境准备与安装配置

一、环境准备：系统与依赖检查

单机部署Kafka前需确保系统环境满足要求。推荐使用Linux系统（如CentOS/Ubuntu），因其对Kafka的IO性能优化更完善。需检查以下依赖项：

1. Java环境：Kafka依赖JDK 8或更高版本，建议安装OpenJDK 11。通过java -version验证安装，若未安装，可通过包管理器安装（如Ubuntu的sudo apt install openjdk-11-jdk）。
2. Zookeeper集成：Kafka依赖Zookeeper进行元数据管理。单机部署时可选择：
   • 独立安装Zookeeper（需配置zookeeper.properties）
   • 使用Kafka内置的Zookeeper（仅限测试环境，生产环境建议分离）
3. 磁盘与内存：Kafka对磁盘IO敏感，建议使用SSD并预留足够空间（日志存储目录需独立分区）。内存方面，Kafka进程默认占用1GB堆内存，可通过KAFKA_HEAP_OPTS调整（如export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"）。

二、安装配置：分步骤详解

1. 下载与解压

从Apache Kafka官网下载稳定版（如3.6.0），解压至指定目录：

wget https://downloads.apache.org/kafka/3.6.0/kafka-3.6.0-src.tgz
tar -xzf kafka-3.6.0-src.tgz -C /opt/
cd /opt/kafka-3.6.0

2. 配置文件修改

编辑config/server.properties，关键参数如下：

# 基础配置
broker.id=0  # 单机部署唯一ID
listeners=PLAINTEXT://:9092  # 监听地址与端口
advertised.listeners=PLAINTEXT://localhost:9092  # 客户端连接地址
log.dirs=/tmp/kafka-logs  # 日志存储路径（建议修改为持久化目录）
# Zookeeper配置（若使用内置Zookeeper）
zookeeper.connect=localhost:2181
# 性能调优
num.network.threads=3  # 网络线程数
num.io.threads=8  # IO线程数（建议为CPU核心数的1-2倍）
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.retention.hours=168  # 日志保留时间（小时）

3. 启动服务

先启动Zookeeper（若独立部署）：

bin/zookeeper-server-start.sh config/zookeeper.properties

再启动Kafka：

bin/kafka-server-start.sh config/server.properties

若需后台运行，可添加&或使用nohup：

nohup bin/kafka-server-start.sh config/server.properties > /tmp/kafka.log 2>&1 &

三、生产环境调优建议

1. 内存与GC优化

Kafka默认使用G1垃圾回收器，可通过以下参数优化：

# 在kafka-run-class.sh中添加（或通过环境变量）
export KAFKA_JVM_PERFORMANCE_OPTS="-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35"

2. 日志存储优化

• 分区数调整：根据主题流量设置分区数（如bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092）。
• 日志清理策略：配置log.cleanup.policy=delete（默认）或compact（压缩旧数据）。
• 磁盘选择：避免使用系统根分区，建议单独挂载数据盘。

3. 监控与告警

集成Prometheus+Grafana监控：

1. 下载JMX Exporter配置文件（jmx_prometheus_javaagent.yml）。
2. 启动时添加JMX参数：

   export KAFKA_OPTS="-javaagent:/path/to/jmx_prometheus_javaagent.jar=7071:/path/to/jmx_prometheus_javaagent.yml"
   bin/kafka-server-start.sh config/server.properties

3. 在Grafana中导入Kafka仪表盘模板（如ID 4701）。

四、常见问题与解决方案

1. 端口冲突

现象：启动失败，提示Address already in use。
解决：检查9092（Kafka）和2181（Zookeeper）端口占用：

netstat -tulnp | grep 9092
kill -9 <PID>  # 终止占用进程

2. 生产者/消费者连接失败

现象：客户端报错Connection to node 0 could not be established。
检查项：

• advertised.listeners是否配置为客户端可访问的地址（如非本地测试需改为公网IP）。
• 防火墙是否放行端口：

  sudo ufw allow 9092/tcp  # Ubuntu
  sudo firewall-cmd --add-port=9092/tcp --permanent  # CentOS

3. 日志目录权限不足

现象：启动报错Permission denied。
解决：修改日志目录权限：

chown -R kafka:kafka /tmp/kafka-logs  # 替换为实际用户组
chmod -R 755 /tmp/kafka-logs

五、验证部署成功

1. 创建测试主题：

   bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092

2. 发送消息：

   bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
   > Hello Kafka!

3. 消费消息：

   bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
   Hello Kafka!

六、总结与扩展建议

单机部署Kafka适用于开发测试、边缘计算等场景，但生产环境需考虑高可用性（如部署3节点集群）。后续可探索：

• Kafka Streams流处理
• MirrorMaker跨数据中心同步
• Security配置（SSL/SASL认证）

通过本文的步骤，开发者可快速完成单机Kafka部署，并根据实际需求进行性能调优与监控集成。