调度器组件部署

版本要求

组件	版本要求	备注
Spark	spark-3.4.4-bin-hadoop3+	推荐下载3.4.4
Flink	1.17.2	商业版专属功能

一、前期准备

1.1、创建目录

sudo mkdir -p /opt/soft
# 授权
sudo chmod -R 777 /opt/soft

1.2、上传

将flink-1.17.2.zip(只需在调取器所在服务器上传)及spark-3.4.4-bin-hadoop3.tgz上传至/opt/soft

1.3、解压并修改名称

#Spark 
cd /opt/soft
sudo tar -zxvf spark-3.4.4-bin-hadoop3.tgz
sudo mv spark-3.4.4-bin-hadoop3 spark

#Flink 只需在调取器所在服务器上传解压
cd /opt/soft
sudo unzip flink-1.17.2.zip
sudo mv flink-1.17.2 flink

二、Spark 集群部署

2.1、 添加环境变量

# 添加环境变量
nano ~/.bashrc
# 在文件的末尾添加你的环境变量设置 export SPARK_MASTER_HOST=192.168.3.38  
# 192.168.3.38 为当前服务器的内网ip

#让环境变量生效
source ~/.bashrc

2.2、master部署

cd /opt/soft/spark
#启动master
./sbin/start-master.sh
#8080端口如果被占用，在conf/spark-env.sh中添加下方内容
export SPARK_MASTER_WEBUI_PORT=8077

2.3、slave部署

salve可部署在多台服务器中，如需部署多台只需在多台服务器中上传spark压缩包然后解压并启动slave

cd /opt/soft/spark
#启动master  192.168.3.38 为当前服务器的内网ip
./sbin/start-slave.sh spark://192.168.3.38:7077

三、Flink 本地部署

Flink为本地模式，所以只需在调取所在服务器上传解压改名即可

提醒

• Flink 执行引擎 为商业版专属功能，开源版本不包含该模块。