Flink单机部署Docker全指南：从入门到实战

1. 引言

Apache Flink作为当前最流行的流处理框架之一，以其高吞吐、低延迟和精确一次（exactly-once）的处理语义著称。而Docker作为轻量级容器化技术，能够极大简化Flink的部署流程。本文将深入讲解如何在单机环境下通过Docker快速部署Flink集群，涵盖从基础概念到实战操作的全流程。

2. 环境准备

2.1 硬件与软件要求

• 操作系统：支持Linux、macOS或Windows（需启用WSL2）
• Docker版本：建议安装Docker 20.10+ 和 Docker Compose 1.29+
• 资源分配：至少4GB内存，2核CPU（推荐8GB+内存）

2.2 安装Docker

# Ubuntu示例
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io
sudo systemctl enable docker

3. 获取Flink Docker镜像

官方提供了两个核心镜像：

• flink:scala_2.12（默认推荐）
• flink:python（支持PyFlink）

docker pull apache/flink:1.17.1-scala_2.12

4. 单机部署实战

4.1 启动JobManager

docker run -d --name=jobmanager \
  -p 8081:8081 \
  -e FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
  apache/flink:1.17.1-scala_2.12 jobmanager

4.2 启动TaskManager

docker run -d --name=taskmanager \
  -e FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
  --link jobmanager:jobmanager \
  apache/flink:1.17.1-scala_2.12 taskmanager

4.3 使用Docker Compose（推荐）

version: "2.1"
services:
  jobmanager:
    image: apache/flink:1.17.1-scala_2.12
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - FLINK_PROPERTIES=jobmanager.rpc.address: jobmanager
  taskmanager:
    image: apache/flink:1.17.1-scala_2.12
    depends_on:
      - jobmanager
    command: taskmanager
    environment:
      - FLINK_PROPERTIES=jobmanager.rpc.address: jobmanager

5. 关键配置详解

5.1 资源配置参数

参数	说明	示例值
taskmanager.numberOfTaskSlots	每个TM的slot数	2
jobmanager.memory.process.size	JM内存大小	1600m
taskmanager.memory.process.size	TM内存大小	2g

5.2 网络配置

• 端口映射：8081（Web UI）、6123（RPC）
• 容器网络：建议创建自定义bridge网络

6. 验证与测试

6.1 访问Web UI

http://localhost:8081 应显示Flink仪表盘

6.2 提交示例作业

# 进入JobManager容器
docker exec -it jobmanager bash
# 运行WordCount示例
./bin/flink run ./examples/streaming/WordCount.jar

7. 高级配置技巧

7.1 持久化存储

volumes:
  - /path/on/host:/opt/flink/data

7.2 日志收集

docker logs -f jobmanager

7.3 资源限制

deploy:
  resources:
    limits:
      cpus: '2'
      memory: 4G

8. 常见问题排查

• 容器无法启动：检查端口冲突（netstat -tulnp | grep 8081）
• TaskManager未注册：验证网络连通性（docker network inspect bridge）
• 内存不足：调整JVM参数（env.java.opts: -Xmx2g -Xms2g）

9. 性能优化建议

1. 根据主机配置调整taskmanager.numberOfTaskSlots
2. 对于生产环境，建议使用ZooKeeper实现高可用
3. 启用检查点（Checkpointing）配置

10. 结论

通过Docker部署单机版Flink，开发者可以：

• 快速搭建开发测试环境
• 避免复杂的依赖安装
• 实现环境隔离和快速重建

这种部署方式特别适合：

• 本地开发验证
• CI/CD流水线测试
• 教学演示场景

未来可扩展为：

• Kubernetes集群部署
• 与Kafka等消息队列集成
• 状态后端配置（如RocksDB）

注：生产环境建议使用官方支持的分布式部署方案