服务器配置要求
2025/7/3大约 3 分钟
为了保障 qData 数据中台系统的稳定运行和良好性能，以下列出了系统部署所需的最低配置和推荐配置服务器资源清单。根据项目实际规模与预算，可以选择相应方案进行部署。
最低配置要求
适用于中小规模业务或测试环境。服务器可根据实际情况进行合并部署。
| 序号 | 服务器名称 | 用途描述 | 操作系统 | CPU规格 | 内存规格 | 硬盘配置 | 数量 |
|---|---|---|---|---|---|---|---|
| 1 | 中台应用服务器 | 部署 qData 前端与后端服务，包括门户、任务管理、数据资源管理等模块。 | Ubuntu / 麒麟 | 4 | 8 | 256G | 1 |
| 2 | DS 调度器 | 部署 DolphinScheduler 前后端服务（伪分布式），同时承载 Redis 和 RabbitMQ 中间件。 | Ubuntu / 麒麟 | 8 | 16 | 512G | 1 |
| 3 | Spark 执行引擎 | 用于执行 Spark 计算任务，支持数据开发、ETL 调度和离线计算。 | Ubuntu / 麒麟 | 16 | 64 | 256G | 1 |
| 4 | Flink 执行引擎 | 用于实时计算任务运行，如指标计算、实时数据处理和流式任务调度。 | Ubuntu / 麒麟 | 16 | 64 | 256G | 1 |
重要提醒
- 中台应用服务器 和 DS调度器 可合并部署在一台 8 核 32G 的服务器上，选用普通低成本服务器即可。
- Flink 执行引擎 为商业版专属模块。在服务器资源有限的情况下，可根据项目需求在 Flink 与 Spark 之间选择其一，优先推荐 Flink 以满足实时计算场景。
推荐配置要求
适用于生产环境、大规模业务需求，建议采用分布式高可用架构，提升系统稳定性与扩展性。
| 序号 | 服务器名称 | 用途描述 | 操作系统 | CPU规格 | 内存规格 | 硬盘配置 | 数量 |
|---|---|---|---|---|---|---|---|
| 1 | 中台应用服务器 | 部署 qData 前后端服务、门户、任务管理、数据资源管理等模块。 | Ubuntu / 麒麟 | 8 | 16G | 256G SSD | 1 |
| 2 | DS调度器 Master 节点 | DolphinScheduler Master 节点部署，负责协调调度任务。【建议 2 节点使用 HA 模式（ZK 管理），目前为单节点】 | Ubuntu / 麒麟 | 8 | 16G | 512G SSD | 1 |
| 3 | DS调度器 Worker 节点 | DolphinScheduler Worker 节点部署，执行具体任务。可弹性扩展。 | Ubuntu / 麒麟 | 16 | 32G | 256G SSD | 2 |
| 4 | 中间件服务器 | 部署 Redis 与 RabbitMQ 等其他中间件。 | Ubuntu / 麒麟 | 4 | 16G | 256G SSD | 1 |
| 5 | Spark Master 节点 | Spark 的主控节点。【建议 2 节点使用 HA 模式（ZK 管理），目前为单节点】 | Ubuntu / 麒麟 | 8 | 16G | 512G SSD | 1 |
| 6 | Spark Worker 节点 | Spark 的工作节点，用于实际计算任务执行。可弹性扩展。 | Ubuntu / 麒麟 | 16 | 64G | 256G SSD | 2 |
| 7 | 数据服务网关 / API 网关 | 提供数据服务统一接入、权限控制、限流等功能。可弹性扩展。 | Ubuntu / 麒麟 | 4 | 8G | 128G SSD | 2 |
| 8 | Flink JobManager | Flink 的控制节点。【建议 2 节点使用 HA 模式（ZK 管理），目前为单节点】 | Ubuntu / 麒麟 | 8 | 16G | 512G SSD | 1 |
| 9 | Flink TaskManager | Flink 的任务执行节点，支持并行计算和流式任务。可弹性扩展。 | Ubuntu / 麒麟 | 16 | 64G | 256G SSD | 2 |
提醒
- Flink 执行引擎 为商业版专属功能，开源版本不包含该模块。
建议说明
- 所有节点推荐使用 SSD 硬盘 提升读写性能；
- 可根据项目实际并发量与数据处理规模，适当扩展 Flink、Spark、ds Worker 节点数量；
- Ubuntu 和 麒麟系统均适配良好，推荐使用稳定版本；
- 所有服务器建议部署在内网环境，统一进行权限与安全管控。