一、背景与需求分析

在大数据处理领域，Hadoop作为分布式计算的标杆框架，其单机部署模式因其轻量级、易配置的特点，广泛应用于开发测试、教学演示等场景。传统手动部署需逐项安装依赖、编辑配置文件，耗时且易出错。本文聚焦CentOS系统，通过自动化脚本实现Hadoop单机环境的快速构建，显著提升部署效率与可复用性。

二、环境准备与前提条件

1. 系统版本选择

推荐使用CentOS 7或8版本，因其稳定性与社区支持完善。执行cat /etc/redhat-release确认系统版本，确保内核版本≥3.10（CentOS 7默认满足）。

2. 网络与防火墙配置

• 关闭SELinux：临时生效setenforce 0，永久生效需修改/etc/selinux/config文件。
• 开放必要端口：Hadoop默认使用8088（ResourceManager）、50070（HDFS Web UI）等，通过firewall-cmd --add-port={8088,50070}/tcp --permanent添加规则，并重载防火墙firewall-cmd --reload。

3. 用户与权限管理

创建专用用户hadoop，避免直接使用root操作：

useradd -m hadoop
passwd hadoop  # 设置密码

将用户加入sudo组以获取必要权限：

usermod -aG wheel hadoop

三、依赖安装自动化

1. Java环境配置

Hadoop依赖Java 8或11，通过脚本自动检测并安装OpenJDK：

#!/bin/bash
if ! java -version 2>&1 | grep -q "1.8\|11"; then
    yum install -y java-1.8.0-openjdk-devel
fi
export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))
echo "export JAVA_HOME=$JAVA_HOME" >> /etc/profile
source /etc/profile

2. SSH免密登录

Hadoop节点间通信依赖SSH，自动化配置脚本如下：

#!/bin/bash
su - hadoop -c "ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa"
su - hadoop -c "cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys"
chmod 600 ~/.ssh/authorized_keys

验证SSH连接：

su - hadoop -c "ssh localhost"  # 应无密码提示直接登录

四、Hadoop自动部署实现

1. 版本选择与下载

推荐Hadoop 3.x版本（如3.3.4），通过wget自动下载并解压：

#!/bin/bash
HADOOP_VERSION="3.3.4"
HADOOP_URL="https://downloads.apache.org/hadoop/common/hadoop-$HADOOP_VERSION/hadoop-$HADOOP_VERSION.tar.gz"
wget $HADOOP_URL -O /tmp/hadoop.tar.gz
tar -xzf /tmp/hadoop.tar.gz -C /opt/
ln -s /opt/hadoop-$HADOOP_VERSION /opt/hadoop
chown -R hadoop:hadoop /opt/hadoop*

2. 环境变量配置

自动化生成环境变量脚本：

#!/bin/bash
cat <<EOF > /etc/profile.d/hadoop.sh
export HADOOP_HOME=/opt/hadoop
export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=\$HADOOP_HOME/etc/hadoop
EOF
source /etc/profile.d/hadoop.sh

3. 配置文件自动化生成

核心配置文件包括core-site.xml、hdfs-site.xml、mapred-site.xml，通过脚本动态生成：

#!/bin/bash
# core-site.xml
cat <<EOF > $HADOOP_CONF_DIR/core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
EOF
# hdfs-site.xml
cat <<EOF > $HADOOP_CONF_DIR/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
EOF
# mapred-site.xml（从模板复制并修改）
cp $HADOOP_CONF_DIR/mapred-site.xml.template $HADOOP_CONF_DIR/mapred-site.xml
sed -i 's/<configuration>/<configuration>\n    <property>\n        <name>mapreduce.framework.name<\/name>\n        <value>yarn<\/value>\n    <\/property>/g' $HADOOP_CONF_DIR/mapred-site.xml

4. 格式化HDFS与启动服务

自动化执行格式化与启动命令：

#!/bin/bash
su - hadoop -c "$HADOOP_HOME/bin/hdfs namenode -format"  # 首次部署需执行
su - hadoop -c "$HADOOP_HOME/sbin/start-dfs.sh"
su - hadoop -c "$HADOOP_HOME/sbin/start-yarn.sh"

五、验证与测试

1. 服务状态检查

jps  # 应显示NameNode、DataNode、ResourceManager、NodeManager等进程

2. Web UI访问

• HDFS管理界面：http://localhost:50070（Hadoop 2.x）或http://localhost:9870（Hadoop 3.x）
• YARN资源管理：http://localhost:8088

3. 示例作业运行

测试MapReduce作业：

su - hadoop -c "$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 5"

六、自动化脚本整合与优化

将上述步骤整合为单个脚本auto_deploy_hadoop.sh，添加错误处理与日志记录功能：

#!/bin/bash
LOG_FILE="/var/log/hadoop_deploy.log"
exec > >(tee -a $LOG_FILE) 2>&1
# 步骤1-5的代码整合，添加错误检查
if ! yum install -y java-1.8.0-openjdk-devel; then
    echo "Java安装失败" >&2
    exit 1
fi
# 后续步骤...
echo "Hadoop部署完成，访问http://localhost:9870查看HDFS状态"

七、常见问题与解决方案

1. 端口冲突：通过netstat -tulnp检查端口占用，修改core-site.xml中的端口配置。
2. 权限不足：确保所有操作以hadoop用户执行，避免使用root。
3. 版本兼容性：Hadoop 3.x需Java 8+，Hadoop 2.x支持Java 7。

八、总结与展望

本文通过自动化脚本实现了CentOS下Hadoop单机环境的快速部署，显著降低了手动配置的复杂度。未来可扩展为集群部署自动化方案，或集成Ansible等工具实现多节点批量管理。对于开发者而言，掌握此类自动化技能是提升效率、保障环境一致性的关键。