本文为您介绍Flink全托管SQL作业开发的限制说明和操作步骤。
使用说明
在编写SQL作业代码时,您可以使用Catalog、变量、自定义函数和自定义连接器。具体的使用场景和使用方法详情如下:
使用限制
SQL编辑器提交的SQL作业,仅支持开源Flink V1.11、Flink V1.12和Flink V1.13版本。
SQL支持的上下游存储(连接器)列表,请参见支持的上下游存储。
操作步骤
登录Flink全托管控制台,新建作业。
编写DDL和DML代码。
代码示例如下。
--创建源表datagen_source。 CREATE TEMPORARY TABLE datagen_source( name VARCHAR ) WITH ( 'connector' = 'datagen' ); --创建结果表blackhole_sink。 CREATE TEMPORARY TABLE blackhole_sink( name VARCHAR ) WITH ( 'connector' = 'blackhole' ); --将源表数据插入到结果表。 INSERT INTO blackhole_sink SELECT name from datagen_source;
在SQL开发页面右侧页签,查看或者填写配置信息。
页签名称
配置说明
更多配置
引擎版本:修改您创建作业时选择的Flink引擎版本,推荐您使用最新版本。引擎版本详情请参见引擎版本介绍和生命周期策略。
重要 从VVR 3.0.3版本(对应Flink 1.12版本)开始,VVP支持同时运行多个不同引擎版本的SQL作业。如果您的作业已使用了Flink 1.12及更早版本的引擎,您需要按照以下情况进行处理:- Flink 1.12版本:停止后启动作业,系统将自动将引擎升级为vvr-3.0.3-flink-1.12版本。
- Flink 1.11或Flink 1.10版本:手动将作业引擎版本升级到vvr-3.0.3-flink-1.12或vvr-4.0.8-flink-1.13版本后重启作业,否则会在启动作业时超时报错。
附加依赖文件:作业中需要使用到的附加依赖,例如临时函数等。
代码结构
数据流向图:您可以通过数据流向图快速查看出数据的流向。
树状结构图:您可以通过树状结构图快速查看出数据的来源。
版本信息
您可以在此处查看作业版本信息,操作列下的功能详情请参见管理作业版本。
单击保存。
单击深度检查。
检查作业的SQL语义和作业使用的表的元数据信息。
可选:单击调试。
您可以使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。详情请参见作业调试。
单击部署。
完成作业开发和深度检查后,即可部署作业,将数据发布至生产环境。