YARN单机部署全攻略：从环境配置到生产实践

一、单机部署的适用场景与核心价值

在资源受限或测试验证场景中，YARN单机部署能够以最小成本快速搭建资源调度环境。相比集群模式，单机部署无需协调多节点通信，显著降低配置复杂度，尤其适合以下场景：

1. 开发测试环境：验证资源调度逻辑与任务执行流程
2. 教学演示场景：快速搭建Hadoop生态教学环境
3. 边缘计算节点：在资源受限设备上实现轻量级任务调度
4. 临时数据分析：处理单节点可承载的中小规模计算任务

单机部署的核心优势在于资源隔离与快速启动，但需注意其局限性：无法验证集群容错机制，不适合生产环境的高可用需求。建议通过配置参数优化（如内存限制、并发控制）来平衡性能与稳定性。

二、环境准备与依赖管理

2.1 基础环境要求

• 操作系统：推荐CentOS 7/8或Ubuntu 20.04 LTS
• Java环境：JDK 1.8（需验证java -version输出）
• SSH服务：确保本地SSH免密登录（ssh localhost验证）
• 依赖包：wget、tar、systemd等基础工具

2.2 Hadoop生态组件版本选择

组件	推荐版本	兼容性说明
Hadoop	3.3.4	包含YARN核心实现
ZooKeeper	3.7.0	仅需单机模式运行
HDFS	可选	测试环境可用本地文件系统替代

版本选择原则：保持Hadoop与YARN版本一致，避免跨大版本兼容问题。例如Hadoop 3.x系列对应YARN 3.x。

三、安装配置全流程

3.1 安装包获取与解压

# 官方源下载示例（需替换为最新稳定版链接）
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
ln -s /opt/hadoop-3.3.4 /opt/hadoop

3.2 核心配置文件修改

yarn-site.xml 关键配置

<configuration>
  <!-- 启用单机模式 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>false</value>
  </property>
  <!-- 资源调度配置 -->
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>8192</value>
  </property>
  <!-- NodeManager配置 -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value> <!-- 测试环境禁用虚拟内存检查 -->
  </property>
</configuration>

mapred-site.xml 配置示例

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
  </property>
</configuration>

3.3 环境变量设置

# 编辑/etc/profile或~/.bashrc
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

四、启动验证与故障排查

4.1 启动流程

# 格式化HDFS（如需使用HDFS）
$HADOOP_HOME/bin/hdfs namenode -format
# 启动YARN服务
$HADOOP_HOME/sbin/start-yarn.sh
# 验证服务状态
jps | grep -E "ResourceManager|NodeManager"

4.2 关键验证点

1. Web UI访问：通过http://localhost:8088查看ResourceManager界面
2. 资源监控：检查yarn node -list输出节点状态
3. 任务提交测试：

   # 运行示例MapReduce任务
   $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 5

4.3 常见问题解决方案

现象	排查步骤
NodeManager启动失败	检查yarn-nodemanager.log中的内存配置错误
任务卡在ACCEPTED状态	验证yarn.scheduler.capacity.maximum-am-resource-percent配置
日志报错”Insufficient resources”	调整yarn.nodemanager.resource.memory-mb或任务内存请求参数

五、生产环境优化建议

5.1 性能调优参数

• 内存管理：

  <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>true</value>
    <description>生产环境建议启用物理内存检查</description>
  </property>

• 并发控制：

  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value> <!-- 根据实际CPU核心数调整 -->
  </property>

5.2 日志与监控配置

1. 日志滚动策略：修改log4j.properties设置日志大小限制
2. Metrics收集：集成Prometheus+Grafana监控关键指标：
   • 待分配资源量
   • 容器启动耗时
   • 任务失败率

5.3 安全加固方案

• 启用Kerberos认证（测试环境可跳过）
• 配置yarn.acl.enable为true限制操作权限
• 定期审计yarn.application.classpath配置

六、进阶使用场景

6.1 混合工作负载调度

通过配置CapacityScheduler实现不同队列的资源隔离：

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>default,batch</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.default.capacity</name>
  <value>70</value>
</property>

6.2 与Docker集成

在container-executor.cfg中配置：

docker.enabled=true
docker.binary=/usr/bin/docker

七、维护与升级指南

7.1 版本升级流程

1. 备份配置文件与元数据
2. 停止服务：stop-yarn.sh
3. 替换二进制文件
4. 验证配置兼容性（重点关注API变更）

7.2 长期运行维护

• 每月执行一次资源使用分析
• 每季度更新一次安全补丁
• 建立配置变更管理流程

通过本文的详细指导，开发者可以完成从环境搭建到生产优化的全流程YARN单机部署。实际部署时需根据具体业务场景调整资源配置参数，建议通过压力测试验证系统承载能力。对于资源需求超过单机容量的场景，应及时考虑向集群模式迁移。