一、DolphinScheduler单机部署核心价值与适用场景

DolphinScheduler作为分布式工作流引擎，单机部署模式在开发测试、小型业务场景中具有显著优势。其核心价值体现在：

1. 资源高效利用：单机模式下，Master与Worker进程共存于同一节点，避免网络通信开销，任务调度延迟可降低40%以上。
2. 快速验证能力：从环境准备到工作流执行，完整部署周期可控制在30分钟内，特别适合CI/CD流水线中的持续集成场景。
3. 成本敏感型适配：无需分布式存储和复杂网络配置，硬件成本较集群模式降低65%。

典型适用场景包括：

• 开发环境模拟生产环境调度逻辑
• 每日百万级以下数据量的ETL作业
• 微服务架构中的定时任务调度中心
• 高校实验室环境下的教学演示

二、YARN HA架构设计原理与配置要点

2.1 YARN HA核心组件

YARN高可用通过ResourceManager的Active/Standby机制实现，关键组件包括：

• ZooKeeper集群：提供节点状态同步和Leader选举服务
• 共享存储：存储ResourceManager的元数据（建议使用NFS或HDFS）
• 故障检测器：通过ZooKeeper Watch机制监控节点状态

2.2 配置文件详解

在yarn-site.xml中需重点配置：

<!-- ResourceManager HA配置 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yarn-cluster</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- ZooKeeper连接配置 -->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

2.3 共享存储配置建议

采用NFS共享存储时，需注意：

1. 挂载点权限设置：chmod 777 /yarn_ha/nm-local-dir
2. 挂载参数优化：添加_netdev,noatime参数减少I/O开销
3. 监控脚本部署：通过inotifywait监控文件变更

三、DolphinScheduler单机集成YARN HA部署流程

3.1 环境准备清单

组件	版本要求	配置建议
JDK	1.8+	设置JAVA_HOME环境变量
ZooKeeper	3.4.6+	3节点集群，配置quorum听器
Hadoop	2.7.2+/3.1.0+	启用HDFS短路径功能
MySQL	5.7+	配置binlog格式为ROW模式

3.2 关键配置步骤

1. DolphinScheduler配置修改：
   在application.yaml中设置：

   yarn:
     ha-enabled: true
     resource-manager-urls: rm1:8032,rm2:8032
     application-name: dolphinscheduler

2. Worker节点配置：

   # worker.properties
   worker.exec.threads=100
   worker.memory-limit=8G
   worker.temp-dir=/tmp/dolphinscheduler

3. 数据库初始化：

   CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8mb4;
   GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds'@'%' IDENTIFIED BY 'password';

3.3 启动验证流程

1. 依次启动服务：

   # 启动顺序
   sh ./bin/dolphinscheduler-daemon.sh start master-server
   sh ./bin/dolphinscheduler-daemon.sh start worker-server
   sh ./bin/dolphinscheduler-daemon.sh start api-server

2. 验证YARN集成：

   # 检查YARN应用提交
   yarn application -list | grep dolphinscheduler
   # 查看Worker注册状态
   curl http://localhost:12345/dolphinscheduler/workers

四、高可用场景下的故障处理

4.1 ResourceManager故障切换

当Active RM宕机时，系统自动完成：

1. ZooKeeper检测到会话超时（默认30秒）
2. 触发Standby RM的激活流程
3. 更新共享存储中的状态标记
4. 通知NodeManager重新注册

处理建议：

• 调整yarn.resourcemanager.ha.automatic-failover.enabled为true
• 设置yarn.resourcemanager.ha.health-checker.interval-ms为5000ms

4.2 Worker节点故障恢复

采用以下机制保障可用性：

1. 任务重试：配置worker.retry.times=3
2. 任务补偿：通过task.retry.interval.millis控制重试间隔
3. 状态同步：Master定期检查Worker心跳（默认30秒）

优化方案：

• 部署监控脚本定期检查Worker进程：

  #!/bin/bash
  WORKER_PID=$(ps -ef | grep 'org.apache.dolphinscheduler.server.worker.WorkerServer' | grep -v grep | awk '{print $2}')
  if [ -z "$WORKER_PID" ]; then
    sh /opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start worker-server
  fi

五、性能调优实践

5.1 资源分配策略

资源类型	配置建议	监控指标
内存	Worker设置Xmx为物理内存的70%	GC日志分析
CPU	预留2个核心给系统进程	top命令观察%wa值
磁盘I/O	使用SSD存储临时目录	iostat -x 1观察%util

5.2 调度参数优化

# master.properties优化配置
master.exec-threads=50
master.dispatch-task-num=10
master.host-selector=LOWER_WEIGHT
master.reserved-memory=2GB

5.3 网络优化方案

1. 调整内核参数：

   # /etc/sysctl.conf
   net.core.somaxconn=65535
   net.ipv4.tcp_max_syn_backlog=65535
   net.ipv4.tcp_tw_reuse=1

2. 防火墙规则优化：

   iptables -A INPUT -p tcp --dport 12345:12355 -j ACCEPT
   iptables -A INPUT -p tcp --dport 25500 -j ACCEPT

六、常见问题解决方案

6.1 YARN应用卡在ACCEPTED状态

原因分析：

• NodeManager资源不足
• 容器内存配置过小
• 共享存储权限问题

解决方案：

1. 检查NodeManager日志：

   tail -f /var/log/hadoop-yarn/yarn-yarn-nodemanager-*.log

2. 调整容器内存：

   <!-- 在mapred-site.xml中 -->
   <property>
     <name>mapreduce.map.memory.mb</name>
     <value>2048</value>
   </property>

6.2 Worker注册失败

排查步骤：

1. 检查ZooKeeper连接：

   echo stat | nc zk1 2181

2. 验证共享存储：

   ls -l /yarn_ha/nm-local-dir/usercache/dolphinscheduler

3. 检查安全组规则：

   iptables -L -n | grep 12345

七、最佳实践总结

1. 监控体系搭建：

   • 部署Prometheus+Grafana监控面板
   • 设置关键指标告警：任务积压数、Worker存活率、YARN容器创建延迟

2. 备份策略：

   • 每日全量备份MySQL数据库
   • 每周备份ZooKeeper快照
   • 保留最近7天的任务日志

3. 升级方案：

   • 滚动升级Worker节点
   • 先升级Standby RM再升级Active RM
   • 升级前执行dsctl stop-all确保无运行中任务

通过上述部署方案，可实现DolphinScheduler单机模式与YARN HA架构的深度整合，在保证系统可用性的同时，最大化资源利用率。实际部署中需根据业务负载特点，动态调整线程池大小、内存分配等关键参数，建议通过压力测试工具（如JMeter）验证系统承载能力，持续优化部署方案。