产品介绍

🌈平台简介

千数平台（qData） 是一款一站式开源数据中台，覆盖中台基础建设、数据治理、数据开发、监控告警、数据服务与数据可视化等核心能力，致力于高效赋能数据前台，为各类业务系统提供统一、高效、安全的数据支撑服务。

🍱 使用场景

场景	描述
🔗 多源数据整合	整合业务系统、IoT、第三方等数据，实现统一采集、清洗与治理，构建标准数据资产。
🌐 统一数据服务	将治理数据通过 API 或数据集方式提供，支撑系统共享调用，提升复用效率。
📈 决策分析支撑	提供统一数据视图和分析能力，助力业务分析、报表生成及科学决策。

💡 优势

优势点	描述
🧩 统一标准	建立统一的数据规范、模型和指标体系，消除“数据孤岛”，提升全局协同效率。
⚙️ 敏捷支撑	快速响应业务变化，按需提供数据服务和分析支持，加速业务创新。
🔒 安全可控	数据权限精细化管理，保障数据合规使用，支撑审计与监管要求。

✅ 已有功能一览

功能模块	功能描述	状态
系统管理	包含系统配置、用户与权限管理、运行监控、日志管理、服务器资源监控和工作空间管理，支持将任务拆分给不同项目组协作，适应前店后厂的工作流程。	✅ 完成
数据标准管理	管理逻辑模型（表级，支持关联数据元）和数据元模型（字段级，绑定规范、稽查与清洗），实现结构化数据规范和质量管控。	✅ 完成
数据集成（ETL）	支持数据库、文件、消息队列等多种数据源接入，提供可视化ETL设计、多任务调度与监控，支持数据清洗规则应用，包含运行日志和执行配置管理。	✅ 完成
元数据管理	集中管理数据表、字段、稽查、清洗指标等元信息，建立统一的数据资产目录，支撑数据查找、血缘分析和结构维护。	✅ 完成
数据质量管理	支持基于预置的稽查规则及数据清洗规则，实现对数据准确性、一致性和完整性的自动校验与修正。	✅ 完成
数据资产管理	通过目录结构对数据资产进行分级分类管理，支持全生命周期跟踪与维护。	✅ 完成
统一标签管理	支持标签自动生成与多维度标签筛选，便于数据分类和精准检索。	✅ 完成
数据开发	支持达梦8、MySQL、Oracle、人大金仓等主流数据库任务开发，包含调度配置和日志管理，基于数据仓库，通过SQL及大数据脚本结合业务需求开发和加工业务数据。	✅ 完成
数据查询	提供灵活且高效的交互式查询工具，支持快速分析和挖掘结构化数据。	✅ 完成
数据服务管理	将数据资产封装为 API 服务，支持外部 API 接口转发，包含 API 日志、数据脱敏、数据接口和服务接口管理及调用日志监控。	✅ 完成

🚧 未来开发计划

功能模块	功能描述	状态
作业调度中心	实现任务编排、任务依赖管理、定时执行、失败重试、日志追踪等调度能力，提升任务执行的自动化与可控性。	🔨 开发中
数据集成（增强）	增强异构数据源、文件、接口、网络爬虫的采集与同步能力，支持更多类型转换与接入能力。	🔨 开发中
离线数据开发	支持基于 Spark、Hive、SQL 等任务类型的离线数据处理，适用于大批量数据的周期性加工与分析，规划统一的作业管理与执行入口。	🔨 开发中
实时数据开发	支持基于 Flink、Kafka 等流处理引擎的实时任务开发，实现低延迟数据处理与指标计算，适用于实时监控与事件驱动业务场景。	⏳ 规划中
数据质量管理（增强）	基于规则引擎实现数据质量检测，支持质量报告生成及质量指标的监控与统计，辅助识别和改进数据中的准确性与完整性问题。	⏳ 规划中
数据比对管理	支持数据库连接配置及任务调度，自动执行结构和内容比对任务，生成详细日志，便于跨源数据一致性验证。	⏳ 规划中
元数据管理（扩展）	增强数据字段、数据地图、SQL 控制台、变更记录等元数据功能，逐步实现血缘、影响分析与结构可视化。	⏳ 规划中
数据血缘分析	支持字段级血缘追踪与可视化图谱展示，帮助用户清晰理解数据流向与依赖关系，提升数据透明度与可追溯性。	⏳ 规划中
数据图谱管理	基于数据仓库构建业务实体、事实表与维度表之间的图谱关系，支持多层模型梳理与可视化展示，增强对数据逻辑结构和业务依赖的理解与维护能力。	⏳ 规划中
数据可视化	支持 BI 报表、数据看板、大屏和多种数据图表展示，支持拖拽配置、权限控制与动态联动。	⏳ 规划中
AI 辅助开发与治理	引入 AI 技术，重点支持离线与实时数据开发中的SQL智能补全、自动优化、异常检测及调试辅助，提升开发效率和数据质量。	⏳ 规划中

💡 如您有好的建议或功能需求，欢迎 提交Issue，与我们共同完善数据中台功能。