本文为您介绍Flink全托管SQL作业开发的操作步骤。
使用说明
在编写SQL作业代码时,您可以使用内置的丰富连接器,也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下:
操作步骤
登录Flink全托管控制台,新建作业。
编写DDL和DML代码。
说明依托于元数据管理能力,您能够在不同的作业中重复利用创建的表结构。在使用Flink开发控制台编辑SQL作业时,只需要输入部分字符,系统即可自动补全字段和表名称。
代码示例如下。
--创建源表datagen_source。 CREATE TEMPORARY TABLE datagen_source( name VARCHAR ) WITH ( 'connector' = 'datagen' ); --创建结果表blackhole_sink。 CREATE TEMPORARY TABLE blackhole_sink( name VARCHAR ) WITH ( 'connector' = 'blackhole' ); --将源表数据插入到结果表。 INSERT INTO blackhole_sink SELECT name from datagen_source;
在SQL编辑区域右侧页签,查看或者填写配置信息。
页签名称
配置说明
更多配置
引擎版本:引擎版本详情请参见引擎版本介绍和生命周期策略。建议您使用推荐版本或稳定版本,引擎版本标记含义详情如下:
推荐版本(Recommend):当前最新大版本下的最新小版本。
稳定版本(Stable):还在产品服务期内的大版本下最新的小版本,已修复历史版本缺陷。
普通版本(Normal):还在产品服务期内的其他小版本。
EOS版本(Deprecated):超过产品服务期限的版本。
附加依赖文件:作业中需要使用到的附加依赖,例如临时函数等。
Kerberos 认证:开启Kerberos认证,配置已注册的Kerberos集群和Principal用户信息。如尚未注册Kerberos集群,请参考注册Hive Kerberos集群。
代码结构
数据流向图:您可以通过数据流向图快速查看数据的流向。
树状结构图:您可以通过树状结构图快速查看数据的来源。
版本信息
您可以在此处查看作业版本信息,操作列下的功能详情请参见管理作业版本。
单击保存。
单击深度检查。
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时,您可以单击结果区域的SQL优化,展开查看SQL风险问题提示以及对应的SQL优化建议。
可选:单击调试。
您可以使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。详情请参见作业调试。
单击部署。
完成作业开发和深度检查后,即可部署作业,将数据发布至生产环境。部署后,您可以在作业启动。
页面启动作业至运行阶段,详情请参见
相关文档
Flink集成新版DataWorks DataStudio,支持流批SQL作业的开发、代码评审及调度运维等一体化ETL能力。详情请参见数据开发(Data Studio)(新版)。
DataWorks DataStudio流批SQL作业开发,详情请参见实时计算Flink。