数据集成
2025/6/20大约 3 分钟
数据集成简介
支持数据库、文件、消息队列等多种数据源接入，提供可视化ETL设计、多任务调度与监控，支持数据清洗规则应用，包含运行日志和执行配置管理。
1、概述
数据集成是将不同来源、格式的数据整合到统一存储结构中的过程，具有重要性如提供全面数据视图、保证数据一致性、支持复杂数据分析等。其主要方法有 ETL、数据虚拟化和数据联邦。数据集成广泛应用于商业智能、大数据分析和企业应用集成等领域。
2、新增数据集成任务
点击“+新增”按钮，拖拉拽左侧输入、转换、输出组件，并填写相关信息，点击“任务配置”按钮，填写相关信息后点击“保存”即可完成任务创建。
| 表单项 | 说明 | 是否必填 | 备注 |
|---|---|---|---|
| 任务名称 | 数据集成任务的名称 | 是 | 例如：泾布查尔县泵站实时运行数据集成任务 |
| 任务类目 | 选择任务所属的类目 | 是 | 例如：泵站、流量监测站等 |
| 负责人 | 选择任务负责人 | 是 | 选择后自动带出联系电话 |
| 联系电话 | 负责人联系电话 | 否 | 可选 |
| 调度周期 | 任务的调度执行周期 | 是 | 例如：每天、每月等 |
| 任务状态 | 任务是否上线 | 是 | 未上线/已上线 |
| 任务描述 | 对任务的简要说明 | 否 | 可选 |
1)、表输入组件
2)、Excel文件输入组件
3)、csv输入组件
4)、kafka输入组件
5)、转换组件
6)、表输出组件
3、任务编辑
点击“修改”按钮可对已有任务进行编辑，点击“任务配置”按钮，修改相关信息后点击“保存”即可完成任务修改。
4、任务详情
点击“详情”可查看任务的详细配置信息。
5、执行一次
首先需要把任务状态进行上线，然后点击"更多",点击"执行一次",即可让当前任务执行一次
5、删除
点击"更多",点击"删除",确认删除之后即可删除数据
