全部产品
Search
文档中心

实时计算Flink版:SQL作业开发

更新时间:May 05, 2023

本文为您介绍Flink全托管SQL作业开发的限制说明和操作步骤。

使用说明

在编写SQL作业代码时,您可以使用Catalog、变量、自定义函数和自定义连接器。具体的使用场景和使用方法详情如下:

使用限制

  • SQL编辑器提交的SQL作业,仅支持开源Flink V1.11、Flink V1.12和Flink V1.13版本。

  • SQL支持的上下游存储(连接器)列表,请参见支持的上下游存储

操作步骤

  1. 登录Flink全托管控制台,新建作业。

    1. 登录实时计算控制台

    2. Flink全托管页签,单击目标工作空间操作列下的控制台

    3. SQL开发页面,单击新建

    4. 单击空白的流作业草稿后。

      Flink全托管为您提供了丰富的代码模板和数据同步,每种代码模板都为您提供了具体的使用场景、代码示例和使用指导。您可以直接单击对应的模板快速地了解Flink产品功能和相关语法,实现您的业务逻辑,详情请参见代码模板数据同步模版

    5. 单击下一步

    6. 新建文件对话框,填写作业配置信息。

      作业参数

      说明

      文件名称

      作业的名称。

      说明

      作业名称在当前项目中必须保持唯一。

      存储位置

      指定该作业的代码文件所属的文件夹。

      您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

      引擎版本

      当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见引擎版本介绍

    7. 单击创建

  2. 编写DDL和DML代码。

    代码示例如下。

    --创建源表datagen_source。
    CREATE TEMPORARY TABLE datagen_source(
      name VARCHAR
    ) WITH (
      'connector' = 'datagen'
    );
    
    --创建结果表blackhole_sink。
    CREATE TEMPORARY TABLE blackhole_sink(
      name  VARCHAR
    ) WITH (
      'connector' = 'blackhole'
    );
    
    --将源表数据插入到结果表。
    INSERT INTO blackhole_sink
    SELECT
      name
    from datagen_source;
  3. SQL开发页面右侧页签,查看或者填写配置信息。

    页签名称

    配置说明

    更多配置

    • 引擎版本:修改您创建作业时选择的Flink引擎版本,推荐您使用最新版本。引擎版本详情请参见引擎版本介绍生命周期策略

      重要 从VVR 3.0.3版本(对应Flink 1.12版本)开始,VVP支持同时运行多个不同引擎版本的SQL作业。如果您的作业已使用了Flink 1.12及更早版本的引擎,您需要按照以下情况进行处理:
      • Flink 1.12版本:停止后启动作业,系统将自动将引擎升级为vvr-3.0.3-flink-1.12版本。
      • Flink 1.11或Flink 1.10版本:手动将作业引擎版本升级到vvr-3.0.3-flink-1.12vvr-4.0.8-flink-1.13版本后重启作业,否则会在启动作业时超时报错。
    • 附加依赖文件:作业中需要使用到的附加依赖,例如临时函数等。

    代码结构

    • 数据流向图:您可以通过数据流向图快速查看出数据的流向。

    • 树状结构图:您可以通过树状结构图快速查看出数据的来源。

    版本信息

    您可以在此处查看作业版本信息,操作列下的功能详情请参见管理作业版本

  4. 单击保存

  5. 单击深度检查

    检查作业的SQL语义和作业使用的表的元数据信息。

  6. 可选:单击调试

    您可以使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。详情请参见作业调试

  7. 单击部署

    完成作业开发和深度检查后,即可部署作业,将数据发布至生产环境。