YARN单机部署全攻略：从环境配置到资源管理实践指南

在分布式计算框架中，YARN（Yet Another Resource Negotiator）作为Hadoop生态的核心组件，承担着资源调度与任务管理的核心职责。对于开发者而言，单机环境下的YARN部署不仅是学习资源管理机制的起点，更是验证算法逻辑、调试任务配置的高效场景。本文将从环境准备、配置优化、安装验证到资源管理，系统梳理YARN单机部署的关键步骤，并提供可复用的实践方案。

一、环境准备：构建单机部署的基石

1.1 硬件与软件要求

单机部署YARN需满足以下基础条件：

• 硬件：至少4GB内存（推荐8GB+）、双核CPU、50GB以上磁盘空间。
• 操作系统：Linux（Ubuntu/CentOS）或Windows（需WSL2支持）。
• 依赖软件：Java JDK 8+、SSH服务（本地回环配置）、Hadoop基础环境。

验证步骤：

# 检查Java版本
java -version
# 确认SSH本地连接
ssh localhost

1.2 安装Hadoop生态

YARN依赖Hadoop的HDFS与Common模块，需先完成Hadoop单机安装：

1. 下载稳定版Hadoop（如3.3.6）：

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
   tar -xzf hadoop-3.3.6.tar.gz -C /opt/

2. 配置环境变量：

   echo 'export HADOOP_HOME=/opt/hadoop-3.3.6' >> ~/.bashrc
   echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
   source ~/.bashrc

二、YARN核心配置：单机模式优化

2.1 配置文件调整

进入$HADOOP_HOME/etc/hadoop/目录，修改以下关键文件：

yarn-site.xml（资源调度配置）

<configuration>
  <!-- 启用单机模式 -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <!-- 节点管理器内存配置 -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value> <!-- 根据物理内存调整 -->
  </property>
  <!-- 虚拟核心数 -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
  </property>
</configuration>

mapred-site.xml（MapReduce配置）

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

core-site.xml（HDFS基础配置）

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2.2 格式化HDFS（仅首次部署需要）

hdfs namenode -format

2.3 启动服务

按顺序启动HDFS与YARN：

# 启动HDFS
start-dfs.sh
# 启动YARN
start-yarn.sh

验证服务状态：

jps
# 应输出以下进程：
# NameNode、DataNode、ResourceManager、NodeManager、SecondaryNameNode

三、资源管理实践：单机环境下的任务调度

3.1 提交测试任务

使用Hadoop自带的pi示例验证部署：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 2 5

• 参数说明：2表示Map任务数，5表示每个任务的采样次数。
• 预期输出：接近3.14159的π值。

3.2 监控资源使用

通过YARN Web UI（默认端口8088）实时查看：

• 集群资源总量与剩余量
• 运行中/已完成的任务列表
• 节点管理器状态

访问方式：

http://localhost:8088

3.3 动态调整资源

修改yarn-site.xml后需重启服务生效：

stop-yarn.sh
start-yarn.sh

四、常见问题与解决方案

4.1 内存不足错误

现象：Container [pid=...] is running beyond physical memory limits
解决：

1. 增大yarn.nodemanager.resource.memory-mb。
2. 调整任务内存请求：

   <property>
     <name>mapreduce.map.memory.mb</name>
     <value>512</value>
   </property>
   <property>
     <name>mapreduce.reduce.memory.mb</name>
     <value>1024</value>
   </property>

4.2 端口冲突

现象：BindException: Port in use
解决：

1. 检查冲突端口（netstat -tulnp | grep 8088）。
2. 修改yarn-site.xml中的yarn.resourcemanager.webapp.address。

4.3 日志分析

定位问题需查看以下日志：

• ResourceManager日志：$HADOOP_HOME/logs/yarn--resourcemanager-*.log
• NodeManager日志：$HADOOP_HOME/logs/yarn--nodemanager-*.log

五、进阶优化建议

5.1 配置本地模式加速调试

在mapred-site.xml中启用本地执行：

<property>
  <name>mapreduce.map.output.compress</name>
  <value>false</value>
</property>
<property>
  <name>mapreduce.task.io.sort.mb</name>
  <value>100</value> <!-- 减小排序缓冲区 -->
</property>

5.2 使用Docker快速部署

通过Docker镜像简化环境配置：

FROM openjdk:8-jdk
RUN apt-get update && apt-get install -y ssh
# 复制Hadoop安装包并配置...

5.3 集成第三方工具

• Prometheus + Grafana：可视化监控YARN指标。
• Apache Tez：替代MapReduce的DAG执行引擎。

六、总结与展望

YARN单机部署为开发者提供了低成本的资源管理实验环境，通过合理配置可模拟分布式场景下的任务调度行为。未来可进一步探索：

1. 多版本Hadoop与YARN的兼容性测试。
2. 结合Kubernetes实现容器化资源调度。
3. 自定义资源调度策略的开发。

掌握单机部署是深入理解YARN架构的第一步，建议开发者从调整内存参数、监控任务执行开始，逐步构建复杂的数据处理流水线。