一、CentOS下Hadoop单机部署的必要性

Hadoop作为大数据生态的核心框架，其单机部署模式适用于开发测试、教学演示及小型数据处理场景。相较于集群部署，单机模式无需复杂网络配置与节点协调，能快速验证Hadoop功能，降低环境搭建成本。尤其对于开发者而言，单机环境可快速迭代测试MapReduce程序或HDFS操作，提升开发效率。

二、CentOS环境准备与依赖安装

1. 系统基础配置

• 关闭防火墙与SELinux

  systemctl stop firewalld
  systemctl disable firewalld
  sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

  此操作避免防火墙规则或SELinux策略干扰Hadoop服务启动。

• 配置本地YUM源（可选）
  若网络环境受限，可搭建本地YUM仓库加速依赖安装：

  mkdir /localrepo
  createrepo /localrepo
  echo "[local]
  name=Local Repository
  baseurl=file:///localrepo
  enabled=1
  gpgcheck=0" > /etc/yum.repos.d/local.repo

2. 安装Java与SSH服务

Hadoop依赖Java运行环境，推荐使用OpenJDK 8：

yum install -y java-1.8.0-openjdk-devel
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> ~/.bashrc
source ~/.bashrc

同时启用SSH免密登录以支持Hadoop的本地进程通信：

yum install -y openssh-server
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

三、Hadoop单机版安装与配置

1. 下载与解压

从Apache官网获取稳定版Hadoop（如3.3.6）：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz -C /opt/
ln -s /opt/hadoop-3.3.6 /opt/hadoop

2. 配置文件调整

• hadoop-env.sh
  指定Java路径并调整堆内存（根据服务器内存调整）：

  echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  export HADOOP_HEAPSIZE=1024" > /opt/hadoop/etc/hadoop/hadoop-env.sh

• core-site.xml
  配置HDFS默认路径与临时目录：

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/hadoop/tmp</value>
    </property>
  </configuration>

• hdfs-site.xml
  设置副本数为1（单机模式无需冗余）：

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
  </configuration>

3. 格式化HDFS并启动服务

/opt/hadoop/bin/hdfs namenode -format
/opt/hadoop/sbin/start-dfs.sh
/opt/hadoop/sbin/start-yarn.sh

通过jps命令验证进程是否正常运行（应包含NameNode、DataNode、ResourceManager等）。

四、自动化部署脚本实现

1. 脚本设计思路

自动化脚本需完成以下任务：

• 环境检测（Java、SSH、磁盘空间）
• 依赖安装（wget、tar等工具）
• Hadoop下载与解压
• 配置文件动态生成
• 服务启动与状态检查

2. 完整脚本示例

#!/bin/bash
# Hadoop自动化部署脚本
# 环境检测
check_env() {
  if ! command -v java &>/dev/null; then
    echo "Java未安装，开始安装..."
    yum install -y java-1.8.0-openjdk-devel || { echo "Java安装失败"; exit 1; }
  fi
  if ! ssh localhost "echo test" &>/dev/null; then
    echo "SSH免密登录未配置，开始配置..."
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 600 ~/.ssh/authorized_keys
  fi
}
# 下载Hadoop
download_hadoop() {
  HADOOP_VERSION="3.3.6"
  HADOOP_URL="https://downloads.apache.org/hadoop/common/hadoop-${HADOOP_VERSION}/hadoop-${HADOOP_VERSION}.tar.gz"
  wget $HADOOP_URL -O /tmp/hadoop.tar.gz || { echo "下载失败"; exit 1; }
  tar -xzvf /tmp/hadoop.tar.gz -C /opt/
  ln -s /opt/hadoop-${HADOOP_VERSION} /opt/hadoop
}
# 配置Hadoop
config_hadoop() {
  cat > /opt/hadoop/etc/hadoop/hadoop-env.sh <<EOF
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HEAPSIZE=1024
EOF
  cat > /opt/hadoop/etc/hadoop/core-site.xml <<EOF
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>
EOF
  cat > /opt/hadoop/etc/hadoop/hdfs-site.xml <<EOF
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
EOF
}
# 启动服务
start_services() {
  mkdir -p /opt/hadoop/tmp
  /opt/hadoop/bin/hdfs namenode -format
  /opt/hadoop/sbin/start-dfs.sh
  /opt/hadoop/sbin/start-yarn.sh
  echo "Hadoop服务已启动，可通过jps查看进程"
}
# 主流程
check_env
download_hadoop
config_hadoop
start_services

3. 脚本优化建议

• 参数化配置：通过命令行参数接收Hadoop版本、安装路径等变量。
• 日志记录：添加exec > /var/log/hadoop_deploy.log 2>&1实现日志持久化。
• 错误处理：在关键步骤后添加状态检查，如if [ $? -ne 0 ]; then exit 1; fi。

五、常见问题与解决方案

1. 端口冲突
   若8088（ResourceManager）或50070（NameNode Web UI）被占用，修改yarn-site.xml和hdfs-site.xml中的端口配置。

2. 权限不足
   确保运行脚本的用户对/opt/hadoop目录有读写权限，可通过chown -R $(whoami):$(whoami) /opt/hadoop调整。

3. 内存不足
   在hadoop-env.sh中减小HADOOP_HEAPSIZE值，或增加服务器交换空间（swap）。

六、总结与展望

通过本文的步骤，读者可在CentOS 7/8上快速完成Hadoop单机部署，并利用自动化脚本提升部署效率。未来可进一步探索：

• 使用Ansible/Puppet实现跨服务器批量部署
• 集成Prometheus监控Hadoop服务状态
• 结合Docker容器化部署以隔离环境

建议开发者定期关注Hadoop官方文档，及时更新版本以获取性能优化与安全补丁。