一、部署前环境准备

1.1 系统与软件版本选择

Spark官方推荐使用Linux发行版（如CentOS 7/8、Ubuntu 20.04 LTS）作为部署环境。建议选择长期支持版本（LTS）以确保稳定性。对于Java环境，Spark 3.x要求JDK 8/11/17，推荐使用OpenJDK 11以获得最佳兼容性。Scala版本需与Spark版本匹配，例如Spark 3.5.0对应Scala 2.12或2.13。

1.2 依赖项安装

通过包管理器安装基础工具：

# CentOS/RHEL
sudo yum install -y wget curl tar git java-11-openjdk-devel
# Ubuntu/Debian
sudo apt update
sudo apt install -y wget curl tar git openjdk-11-jdk

验证安装结果：

java -version  # 应显示openjdk 11.x
javac -version # 验证编译器

1.3 网络与防火墙配置

关闭防火墙简化测试（生产环境需配置规则）：

sudo systemctl stop firewalld  # CentOS
sudo ufw disable              # Ubuntu

配置SSH免密登录（可选）：

ssh-keygen -t rsa
ssh-copy-id localhost

二、Spark核心组件安装

2.1 下载与解压

从Apache官网获取稳定版Spark：

wget https://dlcdn.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz
tar -xzvf spark-3.5.0-bin-hadoop3.tgz
mv spark-3.5.0-bin-hadoop3 /opt/spark

2.2 环境变量配置

编辑~/.bashrc或/etc/profile：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk

执行source ~/.bashrc使配置生效。

2.3 配置文件优化

修改conf/spark-env.sh（需先复制模板）：

cp conf/spark-env.sh.template conf/spark-env.sh

添加关键参数：

export SPARK_MASTER_HOST=localhost
export SPARK_WORKER_MEMORY=4g  # 根据物理内存调整
export SPARK_DRIVER_MEMORY=2g
export SPARK_LOCAL_DIRS=/tmp/spark-temp  # 确保目录存在

三、启动与验证流程

3.1 启动Spark服务

单机模式启动Master和Worker：

$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-worker.sh spark://localhost:7077

检查进程状态：

jps | grep -E "Master|Worker"

3.2 Web UI访问

通过浏览器访问：

• Master UI: http://localhost:8080
• Worker UI: http://localhost:8081
  验证页面应显示：
• 1个活跃Worker
• 可用核心数等于CPU逻辑核心数
• 内存资源分配正确

3.3 运行测试任务

提交示例计算任务：

$SPARK_HOME/bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://localhost:7077 \
  $SPARK_HOME/examples/jars/spark-examples_*.jar \
  1000

预期输出应包含Pi is roughly 3.14xxxxx的计算结果。

四、进阶配置与优化

4.1 日志管理

修改conf/log4j.properties：

log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout

4.2 历史服务器配置

启用历史服务以查看历史任务：

cp conf/spark-defaults.conf.template conf/spark-defaults.conf
echo "spark.eventLog.enabled true" >> conf/spark-defaults.conf
echo "spark.eventLog.dir file:///tmp/spark-events" >> conf/spark-defaults.conf
echo "spark.history.fs.logDirectory file:///tmp/spark-events" >> conf/spark-defaults.conf
$SPARK_HOME/sbin/start-history-server.sh

4.3 性能调优参数

关键参数建议：

# conf/spark-defaults.conf
spark.executor.instances 1          # 单机模式固定为1
spark.executor.cores 4              # 通常设为CPU核心数的70%
spark.sql.shuffle.partitions 200    # 根据数据量调整
spark.default.parallelism 200

五、常见问题解决方案

5.1 内存不足错误

现象：Container killed by YARN for exceeding memory limits
解决：

1. 减少spark.executor.memory（默认1g）
2. 增加交换空间：

   sudo fallocate -l 4G /swapfile
   sudo chmod 600 /swapfile
   sudo mkswap /swapfile
   sudo swapon /swapfile

5.2 端口冲突

常见冲突端口：

• 7077（Master）
• 8080（Master Web UI）
• 8081（Worker Web UI）
• 4040（Driver UI）
  修改方法：

  # 在spark-env.sh中添加
  export SPARK_MASTER_WEBUI_PORT=8085
  export SPARK_WORKER_WEBUI_PORT=8086

5.3 版本兼容问题

症状：ClassNotFoundException或NoSuchMethodError
排查步骤：

1. 检查spark-submit指定的JAR版本
2. 验证Scala版本一致性：

   scala -version  # 应与构建Spark的Scala版本一致

3. 使用mvn dependency:tree分析依赖冲突

六、生产环境建议

1. 资源隔离：使用cgroups限制Spark进程资源
2. 监控集成：配置Prometheus+Grafana监控关键指标
3. 数据持久化：配置HDFS或本地目录作为检查点存储
4. 备份策略：定期备份$SPARK_HOME/work目录
5. 升级路径：保留旧版本配置文件作为升级参考

通过以上步骤，开发者可以在Linux环境下快速完成Spark单机部署，为后续的集群扩展、性能调优和应用程序开发奠定坚实基础。建议从简单任务开始测试，逐步增加复杂度，同时密切关注系统资源使用情况。