Docker Compose 部署
快速部署教学视频
说在前面
谁适合看这份指南?
- 初次接触 qData,希望快速体验功能的小伙伴
- 不想折腾复杂环境配置和前端打包的人
- 想用“一键启动”省事体验完整平台的用户
我们已经为你准备好“开箱即用”的完整部署包,包括:
- ✅ 前端静态资源(打包好的
dist文件夹) - ✅ DolphinScheduler 调度器(无需额外安装)
- ✅ Hadoop 全家桶(HDFS + YARN)
- ✅ Flink 1.12 与 Spark 3.3.0(已解压)
- ✅ 预设
.env环境变量文件 - ✅ 完整目录结构与镜像包(无需手动下载)
不需要手动安装一堆依赖、不用构建前端、不用复杂配置。只需解压并运行脚本,整个大数据平台和 qData 就能跑起来!
零基础也能轻松搞定!10分钟体验 qData!
第 1 步:安装 Docker 和 Docker Compose
qData 通过 Docker 容器运行,必须先安装 Docker 和 Docker Compose。
- 推荐版本:
- Docker:≥ 19.03
- Docker Compose:≥ 1.28
直接下载安装 Docker Desktop。
安装完成后,Docker Compose 已自动包含,无需额外安装。
部署包中已附带离线安装包和安装脚本,可直接运行:
# 进入 Docker 安装包目录
cd ~/qData/docker-install
# 安装 Docker 组件
sudo dpkg -i containerd.io_1.6.9-1_amd64.deb docker-ce_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-ce-cli_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-compose-plugin_2.6.0~ubuntu-focal_amd64.deb
# 将当前用户加入 docker 用户组(免 sudo 可选)
sudo usermod -aG docker $USER
newgrp docker
# 验证安装
sudo docker -v
# 输出示例:Docker version 24.0.7, build afdd5安装 Docker Compose:
# 赋予执行权限并移动到系统路径
sudo chmod +x docker-compose
sudo mv docker-compose /usr/local/bin/docker-compose
# 验证安装
sudo docker-compose -v
# 输出示例:Docker Compose version v2.20.2第 2 步:部署包下载地址
🔗 百度网盘:https://pan.baidu.com/s/1yaqqVBLm20D2tWvqC0PiPQ
下载后请解压部署包
第 3 步:检查镜像是否损坏(适用于 1.0.7 及以上版本)
2. 校验命令
在镜像文件所在目录执行以下命令:
sha256sum -c qData-1.x.x.sha256该命令会自动计算当前目录下所有 .tar 文件的 SHA256 值,并与校验文件中的记录进行比对。
3. 校验通过示例
如果镜像文件完整无误,输出结果类似如下:
qData-core-1.x.x.tar: OK
qData-deps-1.x.x.tar: OK
qData-scheduler-1.x.x.tar: OK此时说明所有镜像文件与生成时的校验值一致,可以安全使用。
4. 校验失败示例
如果文件在传输或复制过程中损坏,会出现如下提示:
qData-core-1.x.x.tar: FAILED
sha256sum: WARNING: 1 computed checksum did NOT match此时应:
- 重新传输或重新下载该文件;
- 再次执行校验命令,直至显示
OK。
4. 其他说明
sha256sum是 Linux 常用的文件完整性验证工具;若系统不支持,可使用以下替代命令:
shasum -a 256 -c qdata-1.x.x.sha256建议在:
- 打包机(生成镜像处);
- 目标部署机(导入镜像前);
各执行一次校验,以确保传输链路无误。
第 4 步:导入 qData 镜像
从 qData 1.0.7 版本开始,系统镜像包拆分为三个独立文件,以便灵活部署和版本升级:
| 镜像包名称 | 含义与内容 | 主要组件 | 用途说明 |
|---|---|---|---|
| qData-core-1.x.x.tar.gz | qData 核心镜像包 | qiantong/qdata、qiantong/qdata-quality | 包含平台主系统与数据质量服务,是系统运行的核心部分。 |
| qData-deps-1.x.x.tar.gz | qData 依赖组件包 | Redis、RabbitMQ、DM8、MySQL、MongoDB、Neo4j、Spark、Hadoop、Doris 等 | 提供数据中台运行所需的数据库、中间件与计算框架。 |
| qData-scheduler-1.x.x.tar.gz | 调度组件镜像包 | DolphinScheduler 系列镜像(API、Master、Worker、Alert) | 提供任务调度、定时执行与工作流编排能力,可按需部署。 |
💡 说明:
- 若环境中已具备部分组件(如 Redis、DM8),可选择性导入相应包;
- 若仅部署核心服务,可仅加载
qData-core;- 建议首次部署或离线环境导入全部三个包,确保依赖齐全。
进入镜像文件所在目录(通常为部署包解压后的根目录),执行以下命令:
cd /(部署包解压后的目录)
# 一次性导入所有 qData 镜像包(你也可以按需导入)
for file in qData-*.tar*; do
echo "正在导入镜像:$file"
sudo docker load -i "$file"
done
# 查看本地镜像列表,确认镜像已导入
sudo docker images预期输出中应能看到类似:
REPOSITORY TAG IMAGE ID CREATED SIZE
qiantong/qdata-quality 1.0.5 0e3b87492cd8 4 hours ago 734MB
qiantong/qdata 1.0.5 59cf25909087 4 hours ago 760MB
apache/dolphinscheduler-tools latest 19eddd1bef1d 4 days ago 402MB
apache/dolphinscheduler-worker latest fa746d141ae2 4 days ago 618MB
apache/dolphinscheduler-master latest 1f2294402261 5 days ago 573MB
apache/dolphinscheduler-alert-server latest a8f4934125fb 5 days ago 423MB
apache/dolphinscheduler-api latest c3f6757463c7 5 days ago 621MB
eclipse-temurin 8-jdk 139cd3f3ddf9 4 weeks ago 274MB
dm8 dm8_20250506_x86_rh7_64 54dae26a70ed 8 weeks ago 1.99GB
redis 6-alpine b7f611844a19 8 weeks ago 30.2MB
rabbitmq 3.12-management c48161165ad4 11 months ago 247MB
mongo 4.4 d896c071ac69 18 months ago 427MB
bitnami/zookeeper 3.7.1 3ab0e8f032ab 23 months ago 510MB
apache/hadoop 3.3.6 3d418cee563e 2 years ago 1.66GB
bitnami/postgresql 15.2.0 52e3f8496daf 2 years ago 273MB
nginx 1.24.0 6c0218f16876 2 years ago 142MB
bitnami/spark 3 15018b527afc 3 years ago 2.54GB如果未看到镜像,请检查
.tar文件路径和文件是否正确。
第 5 步:启动 qData
部署包内部有一个 docker.zip 压缩包,先解压。
解压完成进入到 ~/qData/docker 路径下(里面会有很多 .yml 文件)。
5.1 初始化数据库(首次运行必做)
sudo docker-compose --profile schema up -d⚠️ 注意:entrypoint.sh文件权限问题
首次执行命令 sudo docker-compose --profile schema up -d 如果报错权限、Win换行符问题。可依次执行以下命令:
# 给脚本加权限并修复换行
cd ~/qData(部署包解压位置)
sudo chmod -R 755 docker
sudo chown -R $USER:$USER ./docker
sed -i 's/\r$//' ./database/dm8/entrypoint.sh
# 验证权限
ls -l ./database/dm8/entrypoint.sh
# 应为:-rwxr-xr-x
# 再次运行
sudo docker-compose --profile schema up -d5.2 启动 qData 和所有依赖
sudo docker-compose --profile all up -d5.3 本地源码启动
# 上方的步骤4.1及4.2都无需执行
docker-compose --profile local up -d⚠️ 注意:端口占用问题
运行 sudo docker-compose --profile all up -d 时如果提示端口被占用:
- 根据报错提示,关闭服务器上占用对应端口的进程;
- 或者修改部署包中的
*.yaml配置,将除80端口外的其他端口映射注释或删除(不影响容器内部运行)。
5.4 其他常用命令
查看所有服务运行状态:
sudo docker-compose --profile all ps暂停 qData 所有服务(数据不丢):
sudo docker-compose --profile all stop重启所有服务:
sudo docker-compose --profile all restart完全关闭并删除数据(恢复默认环境):
sudo docker-compose --profile all down
sudo docker-compose --profile schema down本地源码启动所需中间件
docker-compose --profile local up -d⚠️
down会清空数据,如果想保留数据,只用stop即可。
部署完成!🎉
部署完成后可通过以下地址访问:
🌐 qData 数据中台
http://<服务器IP>:80
账号:admin
密码:qData123📅 调度器 DolphinScheduler
http://<服务器IP>:12345/dolphinscheduler/ui/home
账号:admin
密码:dolphinscheduler123⚡ Spark 后台
http://<服务器IP>:8080/
🔑
<服务器IP>替换成你的服务器公网或内网 IP。
💡 重要提醒
- 建议首次启动后 稍等 1-2 分钟 ,让所有容器初始化完毕。
- 可以通过
docker ps查看容器状态。 - 如果访问不了,检查服务器防火墙是否开放
80端口。
