数据管理DMS任务编排主要用于编排各类任务并进行调度执行。您可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。

支持的数据库类型:

  • 关系型数据库:
    • MySQL:RDS MySQLPolarDB MySQL引擎MyBase MySQLPolarDB-X、其他来源MySQL
    • SQL Server:RDS SQL ServerMyBase SQL Server、其他来源SQL Server
    • PostgreSQL:RDS PostgreSQLPolarDB PostgreSQL引擎MyBase PostgreSQL、其他来源PostgreSQL
    • OceanBase:OceanBase MySQL模式OceanBase Oracle模式、自建OceanBase
    • PolarDB O引擎
    • Oracle
    • 达梦数据库
    • DB2
  • 数据仓库:
    • AnalyticDB MySQL版
    • AnalyticDB PostgreSQL版
    • DLA
    • MaxCompute
    • Hologres
  • 对象存储:OSS

操作步骤

  1. 登录数据管理DMS 5.0
    说明 如果您需要切换到旧版数据管理DMS,单击页面右下角返回旧版,进入数据管理DMS平台。具体操作,请参见数据管理DMS 5.0切换至旧版
  2. 在顶部菜单栏中,选择集成与开发(DTS) > 数据开发 > 任务编排
    说明 如果您使用的是旧版数据管理DMS,在顶部菜单栏中,选择全部功能 > 数据工厂 > 任务编排(新)
  3. 新增任务流。
    1. 单击新增任务流
      说明 如果您使用的是旧版数据管理DMS,单击页面左侧的开发空间按钮。在开发空间页面中,单击新建任务流
    2. 新建任务流对话框中,输入任务流名称描述,单击确认
  4. 在画布左侧任务类型列表中,拖拽目标任务节点到画布空白区域。更多信息,请参见任务类型介绍
    4任务编排-拖拽节点
  5. 单击目标任务节点并选择5设置2或双击目标任务节点,在任务节点配置页面,配置任务节点。
  6. 连接各个任务节点形成任务流。将鼠标放在上游节点上,单击上游节点右侧出现的空心圆点并拉出连接线,连接至下游节点上。
    以连接单实例SQL赋值节点的下游节点条件分支为例,将鼠标放在单实例SQL赋值节点上,单击单实例SQL赋值节点右侧出现的空心圆点并拉出连接线,连接至条件分支节点上。连接节点
  7. 在页面下方,配置、查看任务流相关信息。
    1. 单击任务流信息页签,配置任务流基本信息。
      基础属性区域,修改任务流名称描述责任人相关人员,选择错误处理策略并发控制策略
    2. 调度配置区域,打开开启调度开关,配置调度周期。
      表 1. 调度周期配置表
      配置项 说明
      调度类型 选择调度类型:
      • 周期调度:周期性调度任务,例如一周执行一次任务。
      • 调度一次:在指定时间执行一次任务,仅需要配置执行任务的具体时间。
      生效时间 选择调度周期生效的区间,默认1970-01-01~9999-01-01,表示一直生效。
      调度周期 选择调度任务的周期:
      • 小时:按设定的小时执行任务调度,需要配置定时调度。
      • :按每日一次的频率执行任务调度,需要配置每日调度的具体时间。
      • :以周为周期,每个指定天执行一次任务调度,需要配置指定时间和具体时间。
      • :以月为周期,每个指定天执行一次任务调度,需要配置指定时间和具体时间。
      定时调度 提供了2种定时调度的方式:
      • 固定间隔时间调度:
        • 开始时间:执行任务的开始时间。
        • 间隔时间:执行任务的间隔时间,单位为小时。
        • 结束时间:执行任务的结束时间。
        例如,配置开始时间为00:00、间隔时间为6小时、结束时间为20:59,系统将在0点、6点、12点、18点执行任务。
      • 指定时间调度:选择执行任务的目标时间点。

        例如选择和0小时和5小时,系统将在0点和5点执行任务。

      指定时间
      • 如果调度周期为周,选择星期几执行任务,支持多选。
      • 如果调度周期为月,选择每月几号执行任务,支持多选。
      具体时间 设置执行任务流的具体时间。

      例如配置02:55,系统将在指定天的02时55分执行任务。

      cron表达式 不需要手动配置,系统会根据您配置的周期、具体时间自动展现。
    3. 单击操作历史页签,查看该任务流的所有更改操作。
    4. 单击操作历史页签,如果打开通知开关,系统会根据任务流执行结果,给您发送相应的通知消息。
      • 成功通知:任务流执行成功。
      • 失败通知:任务流执行失败。
      • 超时通知:任务流执行超时。
  8. 发布数据流。具体操作,请参见发布任务流

任务类型介绍

分类 任务类型 描述 相关文档
数据加工 单实例SQL 将SQL语句发放到指定的关系型数据库上并执行。
跨库Spark SQL 基于Spark引擎,实现大规模跨库数据传输和数据加工,主要针对各类跨库数据同步和数据加工场景。 配置跨库Spark SQL节点
跨库SQL 基于跨实例DSQL引擎,用于跨实例的分析,小数据量的数据迁移。
DLA Serverless Spark 用于配置Serverless Spark作业。 创建和执行Spark作业
DLA Spark SQL 通过SQL的方式提交作业到DLA Spark集群。
通用 单实例SQL赋值 将SELECT语句读取的数据赋值给输出变量,输出变量可以在下一节点中被使用。 配置SQL赋值节点
条件分支 条件分支节点可用于在任务流中进行条件判断。执行任务流时,如果条件分支节点的条件表达式判断结果为True,执行后续任务,否则不执行后续任务。 配置条件分支节点
脚本代码 基于数据库网关的脚本任务可以实现周期性或定时运行脚本。 配置脚本代码节点
状态检查 表状态检查 检查某一时间点后,目标表中是否有新增数据。
Lindorm文件检查 用于检查Lindorm HDFS下某个文件是否存在。
稽核任务 用于检查数据质量。设置质量规则和调度周期后,自动检查数据质量并生成报告。
依赖检查 实现任务流自依赖和跨任务流间依赖,依赖的目标对象可以是某个任务流或某个任务节点。

相关文档