数据管理DMS任务编排主要用于编排各类任务并进行调度执行。您可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。
支持的数据库类型
- 关系型数据库:
- MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL
- SQL Server:RDS SQL Server、MyBase SQL Server、其他来源SQL Server
- PostgreSQL:RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、其他来源PostgreSQL
- OceanBase:OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase
- PolarDB O引擎
- Oracle
- 达梦数据库
- DB2
- NoSQL:Lindorm
- 数据仓库:
- AnalyticDB MySQL版
- AnalyticDB PostgreSQL版
- DLA
- MaxCompute
- Hologres
- 对象存储:OSS
创建任务流流程

操作步骤
- 登录数据管理DMS 5.0。
- 在顶部菜单栏中,选择 。
- 新增任务流。
- 单击新增任务流。
- 在新建任务流对话框中,输入任务流名称和描述,单击确认。
- 创建任务流节点。
- 在页面下方,配置、查看任务流相关信息。
- 发布数据流。具体操作,请参见发布或下线任务流。
任务类型介绍
分类 | 任务类型 | 描述 | 相关文档 |
---|---|---|---|
数据集成 | DTS数据迁移 | 实现跨库、全量、单表或整库的数据迁移,迁移的类型包括数据和结构。 | 配置DTS数据迁移节点 |
离线数据集成 | 用于数据迁移、数据传输等场景,实现数据源之间的数据同步。 | 配置离线数据集成节点 | |
数据加工 | 单实例SQL | 将SQL语句发放到指定的关系型数据库上并执行。 说明 如果目标实例已开启无锁结构变更,单实例SQL任务会优先采用无锁结构变更的方式执行,可以有效避免锁表问题。更多信息,请参见开启无锁结构变更。 | 无 |
跨库Spark SQL | 基于Spark引擎,实现大规模跨库数据传输和数据加工,主要针对各类跨库数据同步和数据加工场景。 | 配置跨库Spark SQL节点 | |
DLA Serverless Spark | 用于配置Serverless Spark作业。 | 创建和执行Spark作业 | |
无锁数据变更 | 采用DMS无锁技术实现数据的Update、Delete等变更。 说明 目标实例需开启无锁结构变更。更多信息,请参见开启无锁结构变更。 | DML无锁变更概览 | |
DLA Spark SQL | 通过SQL的方式提交作业到DLA Spark集群。 | 无 | |
通用 | 单实例SQL赋值 | 将SELECT语句读取的数据赋值给输出变量,输出变量可以在下一节点中被使用。 | 配置SQL赋值节点 |
条件分支 | 条件分支节点可用于在任务流中进行条件判断。执行任务流时,如果条件分支节点的条件表达式判断结果为True,执行后续任务,否则不执行后续任务。 | 配置条件分支节点 | |
DLA一键数仓 | 基于DLA一键建仓的功能,将数据库的数据上传到OSS,建立数据仓库。 | 一键建仓 | |
DBS备份 | 通过DBS将数据库的数据备份到DBS提供的OSS中。 | DBS | |
脚本代码 | 基于数据库网关的脚本任务可以实现周期性或定时运行脚本。 | 配置脚本代码节点 | |
状态检查 | 表时间列状态检查 | 检查某一时间点后,目标表中是否有新增数据。 | 无 |
Lindorm文件检查 | 用于检查Lindorm HDFS下某个文件是否存在。 | 无 | |
SQL状态检查 | 通过SQL语句检查数据状态。例如,统计班级里男生是否超过10人。 | 无 | |
稽核任务 | 用于检查数据质量。设置质量规则和调度周期后,自动检查数据质量并生成报告。 | 无 | |
任务流依赖检查 | 实现任务流自依赖和跨任务流间依赖,依赖的目标对象可以是某个任务流或某个任务节点。 | 配置任务流依赖检查节点 |