DataWorks支持您可视化创建与管理MaxCompute自定义函数,您可通过MaxCompute的SQL命令创建与管理MaxCompute函数,也可使用DataWorks的可视化方式注册。本文为您介绍如何使用DataWorks可视化方式创建与使用MaxCompute自定义函数。
前提条件
您需要先上传资源,选择以可视化方式上传或添加至DataWorks资源,才可以注册函数。
使用限制
DataWorks仅支持使用可视化方式,查看与管理通过DataWorks可视化方式上传的函数。若通过其他工具(例如,MaxCompute Studio)添加至MaxCompute引擎的函数,需通过DataWorks的MaxCompute函数功能手动加载至DataWorks,加载后才可在DataWorks查看并进行相关管理操作。详情请参见MaxCompute函数管理。
注册函数
进入数据开发页面。
登录DataWorks控制台,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
创建业务流程,详情请参见创建周期业务流程。
创建JAR或Python类型的资源,并提交发布。详情请参见创建并使用MaxCompute资源。
新建函数。
打开相应的业务流程,右键单击MaxCompute,选择新建函数。
在新建函数对话框中,输入名称,并选择路径。
单击新建。
在注册函数对话框中,配置各项参数。
参数
描述
函数类型
选择函数类型,包括数学运算函数、聚合函数、字符串处理函数、日期函数、窗口函数和其他函数。更多详情请参见使用内建函数。
MaxCompute引擎实例
默认不可以修改。
函数名
UDF函数名,即SQL中引用该函数所使用的名称。需要全局唯一,且注册函数后不支持修改。
责任人
默认显示为当前登录账号,您也可以选择其他账号。
类名
UDF函数的类名,格式为
资源名.类名
。其中,资源名可以为Java包名称或Python资源名称。DataWorks创建自定义函数时支持使用JAR及Python两种类型的MaxCompute资源,不同类型资源的类名配置如下:
当资源类型为JAR时,配置的类名格式为
Java包名称.实际类名
,您可以在IDEA中通过copy reference
语句获取。例如,
com.aliyun.odps.examples.udf
为Java包的名称,UDAFExample
为实际类名,则类名参数配置为com.aliyun.odps.examples.udf.UDAFExample
。当资源类型为Python时,配置的类名格式为
Python资源名称.实际类名
。例如,
LcLognormDist_sh
为Python资源名称,LcLognormDist_sh
为实际类名,则类名参数配置为LcLognormDist_sh.LcLognormDist_sh
。说明填写资源名称时,无需添加.jar或.py后缀。
资源需要提交并发布后才可以使用,详情请参见创建并使用MaxCompute资源。
资源列表
选择已可视化上传或添加至DataWorks资源,支持模糊匹配查找本工作空间中已添加的资源,必填。
说明无需填写已添加的资源的路径。
如果UDF中调用了多个资源,则多个资源使用英文逗号(,)分隔。
描述
针对当前UDF作用的简单描述。
命令格式
该UDF的具体使用方法示例,例如
test
。参数说明
支持输入的参数类型以及返回参数类型的具体说明。
返回值
返回值,例如1,非必填项。
示例
函数中的示例,非必填项。
单击工具栏中的图标。
提交函数。
单击工具栏中的图标。
在提交新版本对话框中,输入变更描述。
单击确认。
查看在MaxCompute计算引擎中存在的函数、函数的变更历史等操作,详情请参见MaxCompute函数管理。
查看函数版本与回滚
您可以右键MaxCompute函数,单击历史版本查看函数历史版本与回滚。
节点中使用函数
可直接使用函数名称。您可选中资源,右键引用函数,快速在当前节点编辑页面名称。
附录一:通过命令查看引擎项目中的函数
show functions;查看当前项目下的函数。
DESC function functionname; 查看函数注册详情。
附录二:查看内置函数列表
内建函数列表可参见:内建函数概述。
附录三:添加引擎函数至DataWorks进行管理
您可以通过MaxCompute函数功能,将MaxCompute引擎资源加载至DataWorks进行可视化管理与使用,详情请参见MaxCompute资源管理。