一、单机版Kafka部署核心流程

1.1 环境准备与依赖安装

推荐使用CentOS 7/8或Ubuntu 20.04 LTS系统，需满足以下条件：

• Java 11+运行环境（建议OpenJDK）
• 至少4GB内存（生产环境建议8GB+）
• 磁盘空间根据数据量预估（建议SSD）

安装步骤示例：

# CentOS系统安装Java
sudo yum install -y java-11-openjdk-devel
# Ubuntu系统安装Java
sudo apt update
sudo apt install -y openjdk-11-jdk
# 验证安装
java -version

1.2 Kafka二进制包获取与解压

从Apache官网下载稳定版本（如3.6.0），推荐使用wget直接下载：

wget https://dlcdn.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -xzf kafka_2.13-3.6.0.tgz
cd kafka_2.13-3.6.0

1.3 基础配置文件修改

编辑config/server.properties文件，关键参数配置：

# 监听地址（允许本地访问）
listeners=PLAINTEXT://:9092
# 日志存储路径
log.dirs=/tmp/kafka-logs
# ZooKeeper连接（单机模式使用本地）
zookeeper.connect=localhost:2181
# 进程ID文件位置
process.roles=broker

二、SASL/SCRAM加密机制实现

2.1 加密原理与组件

SCRAM（Salted Challenge Response Authentication Mechanism）通过以下机制保障安全：

• 客户端/服务器双向认证
• 动态盐值防止重放攻击
• 迭代哈希增强密码安全性

2.2 配置文件详细修改

2.2.1 生成JAAS配置文件

创建kafka_server_jaas.conf文件：

KafkaServer {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="admin"
    password="admin-secret"
    user_admin="admin-secret"
    user_producer="producer-secret"
    user_consumer="consumer-secret";
};

2.2.2 修改server.properties

添加加密相关配置：

# 启用SASL认证
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=SCRAM-SHA-256
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
# 指定JAAS文件位置
listener.name.sasl_plaintext.scram-sha-256.sasl.jaas.config=file:/path/to/kafka_server_jaas.conf
# 更新监听配置
listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://your-hostname:9092

2.3 用户管理操作

2.3.1 创建SCRAM用户

使用kafka-configs工具添加用户：

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=producer-secret]' --entity-type users --entity-name producer
bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=consumer-secret]' --entity-type users --entity-name consumer

2.3.2 验证用户权限

bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name producer

三、启动与验证流程

3.1 启动服务

使用以下命令启动ZooKeeper和Kafka：

# 启动ZooKeeper（单机模式）
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
# 启动Kafka（指定JAAS配置）
export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_server_jaas.conf"
bin/kafka-server-start.sh -daemon config/server.properties

3.2 创建测试Topic

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

3.3 生产消费测试

3.3.1 带认证的生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic \
--producer-property security.protocol=SASL_PLAINTEXT \
--producer-property sasl.mechanism=SCRAM-SHA-256 \
--producer-property sasl.jaas.config='org.apache.kafka.common.security.scram.ScramLoginModule required username="producer" password="producer-secret";'

3.3.2 带认证的消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic \
--consumer-property security.protocol=SASL_PLAINTEXT \
--consumer-property sasl.mechanism=SCRAM-SHA-256 \
--consumer-property sasl.jaas.config='org.apache.kafka.common.security.scram.ScramLoginModule required username="consumer" password="consumer-secret";' \
--from-beginning

四、安全加固最佳实践

4.1 密码管理策略

• 定期轮换密码（建议每90天）
• 使用密码管理工具存储凭据
• 避免在配置文件中明文存储密码

4.2 网络隔离建议

• 配置防火墙限制访问IP

  # CentOS防火墙配置
  sudo firewall-cmd --permanent --add-port=9092/tcp
  sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" accept'
  sudo firewall-cmd --reload

4.3 日志与监控配置

• 启用JMX监控端口
• 配置日志轮转策略
• 设置告警阈值（如磁盘空间、内存使用）

五、常见问题解决方案

5.1 认证失败排查

1. 检查JAAS文件路径和权限
2. 验证用户名密码匹配性
3. 确认sasl.enabled.mechanisms配置

5.2 端口冲突处理

# 检查端口占用
netstat -tulnp | grep 9092
# 修改server.properties中的端口配置
listeners=SASL_PLAINTEXT://:9093

5.3 版本兼容性问题

• 确保客户端与服务端版本一致
• SCRAM-SHA-256需要Kafka 2.0+版本
• Java客户端需11+版本支持

本方案通过完整的配置流程和安全实践，实现了单机版Kafka的安全部署。实际生产环境中，建议结合SSL加密和ACL权限控制构建更完善的安全体系。对于开发测试环境，本方案提供的SCRAM认证机制已能满足基本安全需求。