单机部署Spark全攻略：从环境配置到性能优化

一、单机部署Spark的适用场景与核心价值

在数据规模较小（TB级以下）或开发测试阶段，单机部署Spark具有显著优势：资源占用低（单节点可同时运行Driver和Executor）、配置简单（无需协调分布式环境）、调试便捷（可直接查看本地日志）。典型应用场景包括算法原型验证、教学实验、小型数据处理任务等。相较于集群模式，单机部署省去了ZooKeeper、HDFS等组件的配置，但需注意内存限制（建议单机数据量不超过物理内存的60%）。

二、环境准备：操作系统与依赖项配置

2.1 操作系统选择

推荐使用Linux（Ubuntu 20.04/CentOS 7+），其进程管理、内存分配机制更适配Spark需求。Windows系统需通过WSL2或虚拟机运行，但可能面临性能损耗。以Ubuntu为例，需执行：

sudo apt update && sudo apt install -y openjdk-11-jdk scala git

验证安装：

java -version  # 应输出OpenJDK 11
scala -version # 应输出Scala 2.12.x

2.2 依赖项解析

• Java 11：Spark 3.x官方推荐版本，需配置JAVA_HOME环境变量
• Scala 2.12：与Spark 3.2+兼容的稳定版本
• Python 3.7+（可选）：用于PySpark开发，需安装pip和virtualenv

三、Spark安装与配置详解

3.1 下载与解压

从Apache Spark官网选择对应版本（如3.3.0），推荐预编译包（pre-built for Hadoop 3.3）。解压至/opt/spark：

sudo tar -xzvf spark-3.3.0-bin-hadoop3.tgz -C /opt/
sudo ln -s /opt/spark-3.3.0-bin-hadoop3 /opt/spark

3.2 环境变量配置

编辑~/.bashrc，添加：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export PYSPARK_PYTHON=/usr/bin/python3  # PySpark专用Python路径

执行source ~/.bashrc使配置生效。

3.3 核心配置文件调整

修改$SPARK_HOME/conf/spark-defaults.conf，添加：

spark.master            local[4]       # 使用4个本地线程
spark.driver.memory     4g             # Driver内存
spark.executor.memory   4g             # Executor内存
spark.serializer        org.apache.spark.serializer.KryoSerializer

关键参数说明：

• local[N]：N为线程数，建议设置为CPU核心数的70%（如4核CPU设为3）
• 内存配置需留出20%给系统进程，8GB内存机器建议设为3g

四、运行验证与基础使用

4.1 启动Spark Shell

执行spark-shell，出现Scala>提示符即表示成功。测试代码：

val data = 1 to 1000
val rdd = sc.parallelize(data)
rdd.filter(_ % 2 == 0).count()  // 计算偶数数量

4.2 PySpark集成测试

创建test.py：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Test").getOrCreate()
df = spark.createDataFrame([(1, "A"), (2, "B")], ["id", "value"])
df.show()

运行命令：

pyspark test.py

4.3 提交独立应用

打包应用为JAR后，执行：

$SPARK_HOME/bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[2] \
  $SPARK_HOME/examples/jars/spark-examples_2.12-3.3.0.jar \
  100

五、性能优化实践

5.1 内存管理策略

• 堆外内存：在spark-defaults.conf中添加：

  spark.memory.offHeap.enabled true
  spark.memory.offHeap.size 1g

• GC调优：使用G1垃圾收集器：

  export SPARK_DAEMON_JAVA_OPTS="-XX:+UseG1GC"

5.2 数据序列化优化

启用Kryo序列化后，需注册常用类：

val conf = new SparkConf()
  .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  .registerKryoClasses(Array(classOf[MyCustomClass]))

5.3 本地模式进阶配置

• 动态资源分配：虽主要用于集群，但单机可通过spark.dynamicAllocation.enabled true模拟
• 数据本地化：设置spark.locality.wait 3s平衡等待时间与资源利用率

六、常见问题解决方案

6.1 内存溢出错误

现象：java.lang.OutOfMemoryError: Java heap space
解决：

1. 减少spark.executor.memory（如从4g降至2g）
2. 增加分区数：rdd.repartition(100)
3. 检查数据倾斜：df.groupBy("key").count().show()

6.2 端口冲突问题

现象：BindException: Port already in use
解决：
修改$SPARK_HOME/conf/spark-env.sh：

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_WEBUI_PORT=8081  # 默认8080可能被占用

6.3 PySpark与本地Python冲突

现象：ImportError: No module named pyspark
解决：

1. 确保使用虚拟环境：

   python3 -m venv spark_env
   source spark_env/bin/activate
   pip install pyspark

2. 或在提交应用时指定Python路径：

   PYSPARK_PYTHON=./spark_env/bin/python spark-submit ...

七、扩展应用场景

7.1 结合本地文件系统

直接读取本地CSV：

val df = spark.read
  .option("header", "true")
  .csv("file:///home/user/data.csv")

7.2 集成Jupyter Notebook

安装findspark后：

import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

7.3 定时任务调度

通过crontab执行：

0 3 * * * /opt/spark/bin/spark-submit --class com.example.BatchJob /path/to/job.jar

八、总结与建议

单机部署Spark的核心在于资源平衡与配置精细化。建议：

1. 监控工具：使用jstat或VisualVM跟踪内存使用
2. 日志分析：重点查看$SPARK_HOME/logs/下的driver和executor日志
3. 版本匹配：确保Scala、Java版本与Spark官方兼容表一致

对于数据量超过单机处理能力的场景，可考虑：

• 升级到Standalone集群模式
• 使用Kubernetes Operator动态扩展资源
• 结合Alluxio加速数据访问

通过合理配置，单机Spark可高效处理千万级数据量，成为开发测试阶段的得力工具。