全部产品
Search
文档中心

大数据开发治理平台 DataWorks:SQL组件概述

更新时间:Sep 19, 2023

组件是一种带有多个输入参数和输出参数的SQL代码过程模板,而SQL代码过程可通过引入一个或多个源数据表,并进行过滤、连接、聚合等操作,加工出业务所需的目标表,因此,您可通过组件快速加工出符合业务需求的目标表。本文为您介绍组件的相关内容。

组件介绍

在实际业务实践中,存在大量类似的SQL代码过程,过程中输入表和输出表的结构一致或结构类型兼容,仅名称不同。此时,组件的开发者可将该SQL过程抽象为一个SQL组件节点,将可变的输入表抽象为输入参数,可变的输出表抽象为输出参数,实现SQL代码的复用。

后续在使用SQL组件节点时,只需从代码组件列表中选择和自己的业务处理过程类似的组件,并为该组件配置自己业务中特定的输入表和输出表,无需再次编辑代码,便可直接生成新的SQL组件节点,极大提升了开发效率,避免重复开发。SQL组件节点生成后的发布、调度操作,与普通SQL节点的操作方式相同。

权限说明

您需具备DataWorks工作空间的开发权限,才可创建并使用组件。授权详情请参见添加空间成员并管理成员角色权限

组件类型

组件分为项目组件及公共组件,组件开发者(即创建组件的用户)在创建组件时可自行定义。

  • 项目组件:组件发布后,默认仅该DataWorks工作空间的用户均可使用。若您希望使用该类组件,则需成为此工作空间的成员,详情请参见添加空间成员并管理成员角色权限

  • 公共组件:组件的开发者可进人公开组件页签,将具有全局通用性的组件发布到整个租户内,发布后,租户内所有用户均可使用该公共组件。

组件使用流程

在DataWorks中创建的组件需与DataWorks的SQL组件节点配合使用,具体流程如下:

  1. 定义SQL组件

    组件开发者可通过数据开发(DataStudio)的组件管理界面,定义通用逻辑的过程体代码及输入输出参数,通过编写抽象的SQL加工过程,将指定的输入表通过输入参数进行加工处理,生成有业务价值的输出表(即输出参数)。代码中输入参数和输出参数的格式为@@{参数名}

    • 输入参数支持如下类型:

      • 表类型的参数:若加工表时,输出结果类别单一恒定,请使用该类型。

      • 字符串类型的参数:若加工表时,需通过变量控制输入参数的取值,请使用该类型。

    • 输出参数实际使用时请配置为表类型的参数。

  2. 引用SQL组件

    组件使用者需在数据开发界面,通过创建SQL组件节点引用所需组件,替换组件中的输入与输出参数,实现代码复用。

管理组件

您可根据实际业务需求,执行分享组件、升级组件、查看组件的引用记录等管理操作,更好的维护并提升组件的执行效率。详情请参见分享及查看组件的引用记录升级组件