一、环境准备与前置条件

1.1 操作系统选择与版本要求

HDFS单机部署推荐使用CentOS 7或8版本，需确保系统为最小化安装以减少潜在冲突。通过cat /etc/redhat-release命令可验证系统版本，建议使用64位架构以获得最佳性能。内存配置方面，单机模式建议不低于4GB RAM，磁盘空间需预留至少20GB用于数据存储。

1.2 Java环境安装与配置

HDFS依赖Java运行环境，需安装Oracle JDK 1.8或OpenJDK 1.8。通过以下步骤完成安装：

# 安装OpenJDK
sudo yum install -y java-1.8.0-openjdk-devel
# 验证安装
java -version
# 设置JAVA_HOME环境变量
echo "export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))" >> ~/.bashrc
source ~/.bashrc

安装完成后需通过echo $JAVA_HOME确认路径正确性，该变量将被Hadoop配置文件引用。

1.3 用户与权限配置

创建专用用户hadoop以隔离服务运行环境：

sudo useradd hadoop
sudo passwd hadoop  # 设置密码
sudo mkdir /opt/hadoop
sudo chown hadoop:hadoop /opt/hadoop
sudo chmod 755 /opt/hadoop

后续所有操作均在此用户下执行，避免使用root权限运行Hadoop服务。

二、Hadoop安装与配置

2.1 版本选择与下载

推荐使用Hadoop 3.x稳定版本，可通过Apache官网或镜像站下载二进制包。使用wget命令下载并解压：

cd /opt/hadoop
sudo wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
sudo tar -xzvf hadoop-3.3.6.tar.gz
sudo ln -s hadoop-3.3.6 current

解压后需验证文件完整性，通过sha512sum hadoop-3.3.6.tar.gz核对校验值。

2.2 核心配置文件修改

编辑etc/hadoop/core-site.xml文件，配置NameNode地址和临时目录：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

修改etc/hadoop/hdfs-site.xml设置副本数为1（单机模式）：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

在etc/hadoop/hadoop-env.sh中指定JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2.3 格式化NameNode

首次启动前需执行格式化操作，此步骤会创建初始文件系统镜像：

/opt/hadoop/current/bin/hdfs namenode -format

观察输出日志，确认出现”Storage directory /opt/hadoop/tmp/dfs/name has been successfully formatted”提示。

三、服务启动与验证

3.1 启动HDFS服务

依次启动NameNode和DataNode服务：

/opt/hadoop/current/sbin/start-dfs.sh

通过jps命令验证进程状态，应看到NameNode、DataNode和SecondaryNameNode三个进程。

3.2 Web界面验证

访问http://localhost:9870查看NameNode管理界面，可查看集群状态、存储容量等信息。在”Utilities”→”Browse the file system”中可执行文件操作。

3.3 基础命令测试

执行以下命令验证HDFS功能：

# 创建用户目录
/opt/hadoop/current/bin/hdfs dfs -mkdir /user/hadoop
# 上传本地文件
/opt/hadoop/current/bin/hdfs dfs -put /etc/hosts /user/hadoop/
# 列出目录内容
/opt/hadoop/current/bin/hdfs dfs -ls /user/hadoop

观察命令输出，确认文件已成功存储在HDFS中。

四、常见问题解决方案

4.1 端口冲突处理

若9000或9870端口被占用，可通过以下步骤解决：

1. 使用netstat -tulnp | grep 9000查找占用进程
2. 终止相关进程或修改core-site.xml中的端口配置
3. 重启HDFS服务使配置生效

4.2 权限拒绝问题

当出现”Permission denied”错误时，需检查：

• 当前用户是否属于hadoop组
• /opt/hadoop/tmp目录权限是否为755
• 执行hdfs dfs -chmod -R 755 /临时开放权限（生产环境慎用）

4.3 内存不足优化

若出现OOM错误，可修改etc/hadoop/mapred-site.xml（需从模板创建）：

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>1024</value>
</property>

同时调整etc/hadoop/yarn-site.xml中的资源限制参数。

五、生产环境建议

1. 配置日志轮转：在etc/hadoop/log4j.properties中设置maxFileSize和maxBackupIndex
2. 启用监控：集成Prometheus+Grafana监控HDFS指标
3. 定期维护：设置cron任务定期执行hdfs dfsadmin -report和hdfs fsck /检查系统健康度
4. 备份策略：配置dfs.namenode.name.dir多目录存储或定期备份元数据

通过以上步骤，开发者可在CentOS环境下快速搭建可用的HDFS单机服务，为后续集群部署或数据处理应用开发奠定基础。实际部署时建议先在测试环境验证配置，再迁移至生产环境。