调度器部署

千桐科技2025/8/29大约 2 分钟

1、前期准备

（1）确保ZooKeeper已部署

（2）确保PostgreSQL已部署

（3）确保RabbitMQ已部署

（4）创建资源中心所需目录

- 🔗 [百度网盘](https://pan.baidu.com/s/5A7-TUZ_EujpsWO93RektIg)

# 创建目录 
sudo mkdir -p /dolphinscheduler

注意

在安装 Apache DolphinScheduler 时，如果不想使用默认的资源中心基础路径（dolphinscheduler），需要手动修改配置文件：

解压安装包：

tar -xzvf apache-dolphinscheduler-3.2.2-bin.tar.gz

编辑以下两个文件中的参数：

api-server/conf/common.properties
worker-server/conf/common.properties

将配置项 resource.storage.upload.base.path 修改为自定义路径，即可生效。

2、配置用户免密及权限

创建部署用户，并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例

# 创建用户需使用 root 登录
sudo useradd dolphinscheduler

# 添加密码 下方 "dolphinscheduler"为密码，如果是麒麟系统该密码需修改为复杂的密码，按麒麟密码的要求即可
echo 'dolphinscheduler:Str0ng@Pass!' | sudo chpasswd

# 配置 sudo 免密
sudo sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sudo sed -i 's/Defaults    requiretty/#Defaults    requiretty/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
sudo chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
sudo chmod -R 755 apache-dolphinscheduler-*-bin
sudo chown -R dolphinscheduler:dolphinscheduler /dolphinscheduler
sudo chown -R dolphinscheduler:dolphinscheduler /tmp/dolphinscheduler

3、修改dolphinscheduler_env.sh文件

文件 ./bin/env/dolphinscheduler_env.sh 描述了下列配置：
DolphinScheduler 的数据库配置，详细配置信息见[数据库与中间件部署]
一些任务类型外部依赖路径或库文件，如 JAVA_HOME 和 SPARK_HOME都是在这里定义的

# JAVA_HOME
export JAVA_HOME=/opt/java/openjdk

# 数据库配置
export DATABASE=postgresql
export SPRING_PROFILES_ACTIVE=postgresql
export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"
export SPRING_DATASOURCE_USERNAME=root
export SPRING_DATASOURCE_PASSWORD=Idgf~V4pco&PF


# 注册中心
export REGISTRY_TYPE=zookeeper
export REGISTRY_ZOOKEEPER_CONNECT_STRING=localhost:2181

# 组件路径
export SPARK_HOME=/opt/soft/spark
export FLINK_HOME=/opt/soft/flink

export PATH=$SPARK_HOME/bin:$JAVA_HOME/bin:$FLINK_HOME/bin:$PATH

注意: 如果使用非dolphinscheduler用户修改的dolphinscheduler_env.sh文件，需再次执行下方内容

sudo chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
sudo chmod -R 755 apache-dolphinscheduler-*-bin

4、启动

# 需cd到二进制解压后的目录下执行下面的命令
# 切换用户 dolphinscheduler 为第2步创建的用户
su dolphinscheduler
# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh start master-server
bash ./bin/dolphinscheduler-daemon.sh stop master-server

# 启停 Worker，如需部署多台服务器需从第一步开始重复操作一次即可，启动的这一步只需启动 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server

# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server

# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server

5、访问

访问地址：http://服务器IP:12345/dolphinscheduler/ui 
账号:admin
密码:dolphinscheduler123

qdata-etl/target/qdata-etl-3.8.8.jar

6、资源中心中添加jar包

将应用构建中的qdata-etl/target/qdata-etl-3.8.8.jar上传至资源中心中的spark-jar目录下即可