qData 开源版更新日志

千桐科技2025/6/20大约 16 分钟更新日志开源版

v1.2.0 - 2026-03-27

本次版本聚焦 数据建模能力重构与治理体系完善，全面落地企业级数仓规划与数据资产管理能力。
核心新增 数仓分层管理、数据域管理、主题域管理 三大建模核心能力，实现从数仓架构设计、业务域划分到主题域聚合的全流程可视化管控；同步预制 数据治理 - 元数据管理 标准开发菜单，打通元数据采集、查看与基础管理链路，补齐治理模块底座。

🛠 主要更新内容

1️⃣ 核心功能扩展

数据建模模块新增 数仓分层管理 能力：支持 ODS、DWD、DWS、ADS、DIM 等标准分层，统一维护分层建表规则规范；
数据建模模块新增 数据域管理 能力：按业务流程/业务对象完成数据归类，支持名称、编码、描述统一管理，为模型设计提供标准化数据边界；
数据建模模块新增 主题域管理 能力：在数据域下按业务主题进行归集管理，维护名称、编码、说明等信息，为模型建设与数据整合提供清晰主题视角；
数据治理模块 预置元数据管理菜单：包含元数据采集、元数据查询、元数据详情、元数据目录等核心开发菜单，完善治理模块基础能力。

2️⃣ 性能与体验优化

数据集成和数据开发列表优化
- 优化前：列表列数过多，页面常超出屏幕宽度，需频繁横向滚动查看完整信息；关联信息分散展示，易遗漏、浏览效率低。
- 优化方案：采用组合展示方式，将关联字段在同一列内上下排布（如运行状态、调度状态合并展示），减少横向空间占用。
- 优化后：关键信息一屏可视，告别横向滚动；关联信息聚合展示，更符合使用直觉；界面清爽简洁，核心信息突出，查询与操作效率显著提升。
数据集成 / 数据开发列表接口深度性能优化，加载更快、筛选更稳、大列表场景流畅度大幅增强。

📌 版本总结

本次版本重点补齐 数据建模核心能力，实现数仓分层、数据域、主题域全维度管理；同时完善 数据治理-元数据管理 基础菜单，构建起 “数仓建模 + 数据治理” 一体化能力底座。通过功能扩展、体验优化与问题修复，进一步提升平台在企业数仓建设、数据资产梳理场景下的实用性与稳定性。

v1.1.2 - 2026-02-12

本次更新，主要围绕 Apache Doris 数据源全面支持、数据质量稽查能力扩展以及数据集成转化组件增强 展开，具体包含以下改进：

新源支持：新增 Apache Doris 数据源，在多个核心模块中实现统一接入与使用；
规则增强：扩展数据质量稽查规则，覆盖更多真实业务校验场景；
组件补强：数据集成任务中新增多种转化组件，提升数据处理灵活性；
问题修复：修复社区反馈的若干已知问题，提升平台稳定性与使用体验。

✨ 主要更新内容

1. Apache Doris 数据源支持

鉴于 Apache Doris 在社区中的高频使用场景，本版本正式将其纳入平台支持范围，并覆盖多个模块：

数据连接：支持创建 Apache Doris 类型的数据源；
数据查询：支持基于 Apache Doris 的 SQL 查询能力；
数据集成任务：
- 表输入任务支持 Apache Doris；
- 表输出任务支持 Apache Doris。

2. 新增稽查规则

为完善数据质量校验能力，本版本新增以下稽查规则：

时间字段顺序逻辑校验：检查时间字段之间是否存在不合理的先后顺序关系；
字段组完整性校验：检查指定字段组合在全表范围内是否唯一，用于发现重复或冲突数据。

3. 新增转化组件

在数据集成任务的转化阶段，新增多种常用组件，进一步提升数据处理效率与灵活性：

去除重复记录组件；
常量转化组件；
字段选择与字段修改组件；
值映射组件。

🐛 社区 Bug 修复

感谢社区用户的持续反馈，本次版本已修复以下问题：

数据质量模块中，字段字符类型校验在监测、抽查及任务执行时正则逻辑不一致的问题
https://gitee.com/qiantongtech/qData/issues/ID7JBF
顶部菜单中，消息提醒设置为“全部已读”时页面异常的问题
https://gitee.com/qiantongtech/qData/issues/IDK90M

v1.1.1 - 2026-01-15

本次更新，主要包含以下改进：

核心优化：增量同步机制升级为“动态游标”模式，大幅降低重复查询与数据搬运成本。
新源支持：新增对 SQL Server 2008 的支持（覆盖连接、查询及部分集成任务）。
流程规范：统一 Issue 提交流程模板，提升沟通协作效率。
问题修复：修复社区反馈的已知 Bug。

✨ 主要更新内容

1. 动态游标增量同步机制

为减少增量同步任务在重复执行时对历史数据的重复扫描，本版本对增量同步机制进行了调整：由“固定增量条件”改为“动态游标推进”。

1.1 主键增量

原逻辑：增量条件固定（如 id > 固定值 或固定范围），任务多次执行时可能重复扫描已同步数据。
新逻辑：任务执行完成后记录本次同步到的最大主键值作为游标；下次执行时自动使用 主键 > 上次游标 作为增量条件。
适用说明：适用于主键单调递增、可用于排序的表（如自增 ID）。

1.2 时间增量

原逻辑：需配置固定起始时间（如 create_time >= 2025-11-24），每次执行从固定起点扫描至最新，时间窗口逐步扩大。
新逻辑：任务执行完成后记录本次同步窗口的结束时间作为游标；下次执行以上次结束时间作为本次开始时间，形成滚动时间窗口。
适用说明：适用于以时间字段作为增量依据的同步场景。

1.3 游标信息展示

在任务配置或任务详情中增加游标信息展示，用于查看当前增量推进位置及下次执行起点。

2. SQL Server 2008 数据源支持

响应社区需求，本次版本向下兼容了 SQL Server 2008，支持范围如下：

数据连接：支持创建 SQL Server 2008 类型的数据源。
数据查询：支持对该数据源进行标准 SQL 查询。
数据集成任务：支持 表输入 与 表输出 组件。

注：以上支持仅覆盖上述列出的组件或任务类型，未说明的组件暂未适配。

3. 新增清洗规则

新增以下字段清洗规则，用于统一数据格式并提升数据处理一致性：

字段值转小写：将字段值统一转换为小写，适用于邮箱、域名等字段。
去除字段空格：去除字段前后空格，并清理多余的中间空格。
日期格式统一：将不同日期格式统一转换为指定标准格式（如 yyyy-MM-dd），支持配置模板。

4. Issue 模板升级

为了提高问题定位效率，我们对 Issue 提交流程进行了标准化升级：

结构标准化：统一提单字段，强制要求环境信息与复现步骤。
填写指引：在模板中内置了详细的填写提示（Placeholder）。
沟通成本降低：信息更加集中，便于开发人员快速回溯与复现。

🐛 社区问题修复

感谢社区伙伴的反馈，以下问题已在此版本修复：

修改测试用户角色时报错 @xumingliang2020 https://gitee.com/qiantongtech/qData/issues/IDDCKX
数据服务向导模式新建API时，使用集合类型不生效 @jackwong123 https://gitee.com/qiantongtech/qData/issues/ID6J6F

v1.1.0 - 2025-12-19

本次版本更新主要聚焦于 数据治理能力的深度扩展 与 系统架构的全面适配。针对复杂数据场景，我们大幅扩充了清洗与稽查规则库；在底层架构上，实现了 ARM + x86 双架构 的无缝支持，并重构了构建流程，显著提升了国产化环境的兼容性与部署效率。

🛠 主要更新内容

1️⃣ 规则引擎增强

数据清洗规则扩展

新增 过期记录清洗 规则，支持自动识别并处理时效性数据；
新增 字段值转大写 与 小数位统一 规则，提升数据标准化的处理能力；
新增 超长字段截取 功能，防止异常数据导致的存储溢出；
新增 正则表达式替换 规则，满足高复杂度的非结构化文本清洗需求。

数据稽查规则扩展

新增 数值范围校验，确保关键指标数据的合理性；
新增 字段长度范围校验，加强对异常录入数据的监控；
新增 枚举校验，支持对特定字典值域的合规性检查。

2️⃣ 架构与部署升级

多架构兼容适配

全面支持 ARM + x86 双架构：完美适配国产服务器（如鲲鹏、飞腾）及 Apple Silicon 开发环境，解决了跨平台运行的兼容性难题；
完成 达梦数据库 的 ARM 镜像适配，支持在信创环境下稳定运行。

交付与构建优化（重要）

阿里云镜像直连：镜像已托管至阿里云镜像仓库，不再需要下载和传输GB级的离线安装包。部署时仅需配置镜像地址即可自动拉取，彻底解决传输慢、安装包臃肿的问题。
一键构建升级：支持 Maven 一键打包 Jar 包 + Docker 镜像（可配置），大幅简化发版与交付流程。

⚠️ 升级提示：
本次更新涉及底层架构与数据库驱动适配，若您的服务器为 ARM 架构，请务必拉取最新的对应镜像版本。
无需再从百度网盘下载大量镜像。

v1.0.7 - 2025-11-07

qData v1.0.7 全面提升系统的数据库兼容性与部署灵活性，新增 SQL Server 支持，完善 MySQL 适配与一键部署能力，并针对界面与日志功能进行了多项优化，让系统更稳定、更易用。

🧩 新增与增强

全面支持 SQL Server 数据库：数据连接、数据质量、数据集成与 API 发布模块均已适配，覆盖核心功能场景。
MySQL 自动化适配：新增 MySQL 初始化脚本，实现自动建库建表；系统主库可自由切换 MySQL 与达梦（DM8）。
部署灵活升级：.env 文件支持灵活定义数据库类型，一键部署脚本自动识别主库类型，轻松完成切换。

🎨 优化与修复

优化 标准检索卡片与数据资产卡片样式，界面展示更简洁清晰；
提升 日志模块与页面加载性能，浏览体验更流畅；
修复 标准登记字段 null 值问题 与 数据集成任务配置跳转异常（404）；
完善 开源版部署文档，补充命令说明与操作细节，部署更顺畅。

⚙️ 版本亮点

qData v1.0.7 实现了对 SQL Server、MySQL、达梦数据库 的全面兼容，
结合优化的日志与前端体验，为数据中台的稳定运行与灵活部署提供更坚实的支撑。

v1.0.6 - 2025-09-30 国庆献礼

本次版本代号为“重塑之跃”，我们完成了多个核心模块的架构重构，前端工程化全面升级，并引入标准管理体系，标志着 qData 向更专业、更稳定、更易用的方向迈出了关键一步。

✨ 核心亮点

🌟 全新演示数据：所见即所得，开箱即用

内置全套真实场景演示数据，覆盖数据接入、治理、开发、服务、分析、可视化全流程。
新用户无需准备数据，登录即可沉浸式体验数据中台完整链路，快速理解核心概念与操作逻辑。
主要页面新增新手引导提示框，帮助首次使用者轻松上手，降低学习成本。

✨ 新增功能

📚 标准体系管理（全新模块）
构建统一的数据标准体系，提升数据规范性与一致性：

国家标准管理
行业标准管理
地方标准管理
团体标准管理
标准检索功能：快速查找所需标准，支持多维度筛选与模糊搜索。

数据标准化迈出关键一步，助力企业打造高质量数据资产底座。

🔁 核心模块重构

数据连接功能优化: 提升连接配置灵活性与稳定性，支持更多场景。
数据查询功能重构: 查询性能提升，权限控制更精细，用户体验更流畅。
任务管理模块重构

统一管理数据集成与数据开发任务。
任务类目管理更清晰，支持分类组织与快速定位。

前端工程全面升级

重构整体文件目录结构，提升代码可维护性。
规范 URL 请求路径，增强系统可扩展性与前后端协作效率。

🐞 重点 Bug 修复（部分列举）

我们集中修复了 80+ 项用户反馈的关键问题，涵盖权限、表单、交互、数据展示等多个方面：

v1.0.5 - 2025-09-03

本次更新聚焦 规则治理一体化、非结构化数据支持、开源版体验与部署优化，全面提升规则复用能力、数据接入广度和运维效率。

✨ 新增功能

🧩 字段级规则绑定
在“数据元类型”中为字段绑定稽查与清洗规则，任务和组件配置时可自动加载并支持二次修改，减少重复配置。
📂 非结构化数据 ETL
支持 CSV、JSON 等文件型和半结构化数据的抽取、解析、清洗与加载；提供字段映射、格式化和校验能力，扩展数据治理能力。

🔧 功能优化

🔗 规则联动与组件重构
转化组件和质量任务可自动继承字段规则，逻辑更清晰，装配更高效。
🏠 开源版首页 UI 重构
界面焕新，更简洁直观，信息展示更完善。
🧰 部署与运维优化
- 快速部署脚本升级：支持环境自检、健康检查和镜像离线导入
- 日志功能恢复：标准输出和文件日志双通道，便于排查与监控
- 部署解耦：DS 与后端服务可单独部署，灵活组合