依赖关系

规范化数据开发场景

• 在进行调度依赖关系配置前，您需要了解以下基本概念：
  • DataWorks任务：定义对数据执行的操作，详情请参见基本概念。
  • 输出名称：系统将为每个节点默认分配一个以_out结尾的输出名，同时您也可增加自定义输出名，但需注意输出节点名称在租户内不允许重复。详情请参见基本概念。
  • 产出表：指某节点的SQL语句中，INSERT/CREATE语句之后的表。
  • 输入表：指某节点的SQL语句中，FROM后的表。
  • SQL语句：此处指MaxCompute SQL。

  实际工作中，一个DataWorks任务中可以包含单个SQL语句，也可以包含多个SQL语句。

  每个形成上下游关系的任务均通过输出名进行关联，其中创建的最上游节点可以配置为本工作空间的根节点（节点名projectname_root）。

• 规范化数据开发原则
  在规范化的数据开发流程中，会构建多个SQL任务形成具有依赖关系的上下游，同时建议遵循以下原则：

  • 下游任务的输入表必须是上游任务的产出表。
  • 一个任务只产出一张表。
  • 建议任务名称和输出表名保持一致。

  目的是当业务流程无限膨胀时，可以快速地通过自动解析方式配置复杂的依赖关系。

• 规范化数据开发流程示例
  上图中，各任务及其代码如下：

  • ods_log_info_d任务代码如下，本任务的输入数据来自ods_raw_log_d表，数据输出至ods_log_info_d表。

    INSERT OVERWRITE TABLE ods_log_info_d PARTITION (dt=${bdp.system.bizdate})
      SELECT ……  //代表您的select操作。
      FROM (
      SELECT ……  //代表您的select操作。
      FROM ods_raw_log_d
      WHERE dt = ${bdp.system.bizdate}
    ) a;

  • dw_user_info_all_d任务代码如下，本任务的输入数据来自ods_user_info_d、ods_log_info_d表，数据输出至dw_user_info_all_d表。

    INSERT OVERWRITE TABLE dw_user_info_all_d PARTITION (dt='${bdp.system.bizdate}')
    SELECT ……  //代表您的select操作。
    FROM (
      SELECT *
      FROM ods_log_info_d
      WHERE dt = ${bdp.system.bizdate}
    ) a
    LEFT OUTER JOIN (
      SELECT *
      FROM ods_user_info_d
      WHERE dt = ${bdp.system.bizdate}
    ) b
    ON a.uid = b.uid;

  • rpt_user_info_d任务代码如下，本任务输入数据来自dw_user_info_all_d表，数据输出至rpt_user_info_d表。

    INSERT OVERWRITE TABLE rpt_user_info_d PARTITION (dt='${bdp.system.bizdate}')
    SELECT ……  //代表您的select操作。
    FROM dw_user_info_all_d
    WHERE dt = ${bdp.system.bizdate}
    GROUP BY uid;

依赖的上游节点

• 通过输入父节点输出名搜索

  您可以通过搜索某节点的输出名，将其配置为本节点的上游依赖来形成依赖关系。

• 通过输入父节点输出表名进行搜索
  通过该方法搜索必须保证父节点的某一个输出名，为父节点的SQL语句中INSERT或CREATE之后的表名称，形如projectname.表名（此类输出名通常可以通过自动解析获得）。
  执行提交后，该输出名即可通过搜索表名的方式被其它节点搜索到。

本节点的输出

本节点的输出指当前节点的输出，您可以在右侧的调度配置页面截取本节点的输出信息。

自动解析依赖关系

下图为自动解析依赖关系的原理。

• SELECT一张表，该表将自动解析为本节点依赖的上游。
• INSERT一张表，该表将自动解析为本节点的输出。

如果出现的多个INSERT、FROM，则会自动解析出多个输出、输入名称。

如果您构建了存在依赖关系的多个任务且满足条件：下游任务的输入表均来自上游任务的输出表，则通过自动解析功能即可实现整个业务流程依赖关系的快速配置。

• 为提高任务的灵活性，建议一个任务仅包含一个输出点，以便您可以灵活组装SQL业务流程，达到解耦的目的。
• 如果SQL语句中的一个表名既是产出表又是被引用表（被依赖表），则解析时只解析为产出表。
• 如果SQL语句中的一个表名被多次引用或被多次产出，则解析时只解析一个调度依赖关系。
• 如果SQL代码中有临时表（例如在工作空间配置中指定t_开头的表为临时表），则该表不会被解析为调度依赖。

在自动解析的前提下，您可以通过手工设置添加或删除、输入或输出的方式，来决定避免或增加某些SQL语句中的字符被自动解析为输出名、输入名。

右键单击选中的表名，即可对SQL语句中出现的所有表名进行输出、输入的添加或删除。操作后，被添加输入的字符会被解析为父节点输出名称，被添加输出的字符则会被解析为本节点的输出。反之，如果选择删除输入或删除输出则不会被解析。

--@extra_input=表名 --添加输入
--@extra_output=表名 --添加输出
--@exclude_input=表名 --删除输入
--@exclude_output=表名 --删除输出

自定义添加依赖关系

当通过SQL血缘关系无法准确自动解析节点之间的依赖关系时，您可以选择自动解析后的否来自行配置依赖关系。

当自动解析选择为否时，请单击自动推荐，启用自动推荐上游依赖功能。

跨项目（工作空间）依赖