spark安装

一、下载spark

下方地址如果不可用可访问 https://downloads.apache.org/spark 下载 spark-3.5.x的任意版本

wget https://downloads.apache.org/spark/spark-3.5.6/spark-3.5.6-bin-hadoop3.tgz

二、解压

tar -zxvf spark-3.5.6-bin-hadoop3.tgz

三、创建目录并移动文件

#创建目录 该目录最终需要和DolphinScheduler的dolphinscheduler-api、dolphinscheduler-master、dolphinscheduler-worker容器进行挂载
mkdir -p /data/ds/soft
mv spark-3.5.6-bin-hadoop3 /data/ds/soft/spark

四、设置SPARK_MASTER_HOST环境变量

1、临时设置

# 临时设置内网ip，192.168.1.1为当前服务器的内网ip
export SPARK_MASTER_HOST=192.168.1.1

2、永久设置

nano ~/.bashrc

在文件的末尾添加你的环境变量设置 export SPARK_MASTER_HOST=192.168.1.1

source ~/.bashrc

3、验证

下方输出为你的内网ip及设置成功，例如192.168.1.1

echo $SPARK_MASTER_HOST

五、启动 spark-master

1、运行环境

JDK = 1.8

2、运行

cd /data/ds/soft/spark/sbin
start-master.sh

3、验证是否成功

浏览器访问：http://192.168.1.1:8080，能正常访问则说明启动成功（192.168.1.1改为自己的ip）

六、启动dolphinscheduler-worker中的spark-worker，需部署好dolphinscheduler后再搞这一步

1、进入dolphinscheduler-worker容器

docker exec -it 容器id或容器名称 bash
# 启动spark-worker（192.168.1.1更改为自己的ip）
/opt/soft/spark/sbin/start-slave.sh spark://192.168.1.1:7077

2、验证是否成功

浏览器访问：http://192.168.1.1:8080，Workers多了一个节点说明启动成功（192.168.1.1改为自己的ip）