全部产品
Search
文档中心

大数据开发治理平台 DataWorks:各类型节点自动解析场景

更新时间:Apr 28, 2024

本文为您汇总了各类型节点的自动解析配置原则,以及不支持自动解析的场景,您可根据业务需求使用。

自动解析的配置原则

各类型节点的自动解析配置原则如下表。

节点类型

代码命令

自动解析

调度依赖配置规则

ODPS节点

  • CREATE

  • INSERT

当节点代码中出现此类输出命令时,会自动为节点添加一条本节点输出配置内容。

为节点自动添加的本节点输出命名规则为odps_project_name.table_name。其中:

  • odps_project_name:为当前节点所在的DataWorks项目名称。

  • table_name:为对应命令后的表名称。

SELECT

当节点代码中出现此命令时,会自动为节点添加一条依赖的上游节点配置内容。

为节点自动添加的依赖的上游节点命名规则为project_name.table_name。其中:

  • project_name:SELECT语句中,from命令后的表所在节点的项目名称。

  • table_name:SELECT语句中from命令后的表名称。

非ODPS的SQL节点

  • CREATE

  • INSERT

  • ALTER

  • UPDATE

当节点代码中出现此类输出命令时,会自动为节点添加一条本节点输出配置内容。

各类型节点自动添加的本节点输出命名规则为:

  • EMR:workspace_name.db_name.table_name

  • ADBPG:workspace_name.db_name.schema_name.table_name

  • ADBMySQL:workspace_name.db_name.schema_name.table_name

  • Hologres:workspace_name.db_name.schema_name.table_name

其中:

  • workspace_name:为当前节点所在的DataWorks项目名称。

  • db_name:为当前节点所在的数据库名称。

  • schema_name:为当前节点的schema名称。

  • table_name:为输出命令后的表名称。

SELECT

当节点代码中出现此命令时,会自动为节点添加一条依赖的上游节点配置内容。

为节点自动添加的依赖的上游节点命名规则为project_name.table_name。其中:

  • project_name:SELECT语句中,from命令后的表所在节点的项目名称。

  • table_name:SELECT语句中from命令后的表名称。

离线同步节点

离线同步节点不支持自动解析,需手动添加节点的调度依赖配置。

不支持自动解析的场景

如下情况不支持自动解析:

  • 部分节点可能暂不支持自动解析,节点是否支持自动解析请以实际界面为准。

    例如:离线节点、AnalyticDB for PostgreSQL节点等不支持通过自动解析添加节点的调度依赖,这类节点的产出表需要手动添加为本节点的输出。

  • SQL代码中的临时表(例如,在工作空间配置中指定t_开头的表为临时表)不支持自动解析,不会被自动解析为本节点的输出或依赖的上游节点。

  • 当同步任务产出一张表时,需手动将该表添加为节点的输出,格式为projectname.tablename。以便下游节点对该表进行数据清洗时,可通过自动解析快速设置节点依赖关系。