Flink全托管支持通过SQL代码编辑和运行作业。本文带您快速体验Flink全托管产品的开通、SQL作业的创建和上线运行等操作。

前提条件

  • 已准备阿里云账号及账户余额。
    • 账号注册操作步骤,请参见账号注册
    • 阿里云账户余额不少于100美元或等值的代金券或优惠券。
  • 已完成角色授权,详情请参见阿里云账号角色授权

操作流程

  1. 步骤一:创建Flink全托管实例
    开通一个北京地域按量付费的Flink全托管实例。
  2. 步骤二:创建SQL作业并编写业务代码
    在作业开发页面,创建一个SQL类型的流作业,并编写DDL和DML代码。
  3. 步骤三:启动作业,查看Flink计算结果
    在作业运维页面,启动作业并查看作业运行状态。

步骤一:创建Flink全托管实例

  1. 登录实时计算管理控制台
  2. 单击Flink全托管下的购买产品
  3. 在购买页面,填写配置信息。
    开通
    类别 配置项 示例 说明
    基本配置 付费模式 按量付费 支持包年包月按量付费模式。
    地域 北京 支持新加坡
    说明 建议选择与上下游存储相同的地域
    可用区 可用区F 建议选择与上下游存储相同的可用区
    网络配置 SLB服务 - 系统已默认选中并开通了SLB服务。
    专有网络 flink-test-vpc 建议选择与上下游存储相同的专有网络。
    虚拟交换机 flinktest-vsw-2ze4fyq366itq6xqp**** 每个Flink作业的Task Manager和Job Manager实例都会占用一个 IP, 您可以选择1~5个虚拟交换机,根据Flink作业规模,合理规划网段。
    工作空间配置 工作空间名称 flink-test 以字母开头,仅包含英文字母、数字、中划线(-),长度限制为1~60个字符。
    存储配置 OSS存储 flink-test-oss 用于存储作业的Checkpoint、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据:
    • artifacts:上传的JAR包会被存储到该目录。
    • flink-jobs:Flink作业的HA信息和Checkpoint会被存储到该目录。
    • flink-savepoints:在Flink全托管开发控制台上单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。
    • logs:如果您的作业中日志模板选择了OSS,则您的作业的日志会被存储到该目录。
    • sql-artifacts:注册自定义函数和Connector所依赖的文件会被存储到该目录。
    • plan:使用专家模式,配置的资源信息会被存储到该目录。
    • flink-sessionclusters:Session集群的HA信息和Checkpoint信息会被存储到该目录。
    说明
    • Flink全托管服务开通成功后,不可修改OSS存储
    • OSS存储需要与Flink全托管服务在同一地域。
    • 选择Bucket时,请参见注意事项
    监控配置 监控服务 - 系统已默认选中并开通了Prometheus服务。
  4. 单击确认订单并支付,即可开通成功。
    说明 支付完成后,单击管理控制台,即可在Flink全托管页签,看到正在创建的工作空间。通常,支付完成后5~10分钟即可完成工作空间的创建。

步骤二:创建SQL作业并编写业务代码

  1. 创建SQL作业。
    1. 登录实时计算管理控制台
    2. Flink全托管页签,单击目标工作空间操作列下的控制台
    3. 在左侧导航栏,单击作业开发
    4. 单击新建
    5. 新建文件对话框,填写作业配置信息。
      作业参数 示例 说明
      文件名称 flink-test 作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型 流作业/SQL 流作业和批作业均支持以下文件类型:
      • SQL
      • JAR
      • PYTHON
      说明 VVP 2.4.1且VVR 3.0.1及以上版本支持批作业。
      部署目标 vvp-workload 选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明,请参见配置开发测试环境(Session集群)
      存储位置 作业开发 指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

    6. 单击确认
  2. 将以下作业代码拷贝到作业文本编辑区。
    创建一个产生随机数据的datagen源表,将datagen源表中的name字段中的数据插入blackhole结果表,代码示例如下所示。
    CREATE TEMPORARY TABLE datagen_source(
      randstr VARCHAR
    ) WITH (
      'connector' = 'datagen'
    );
    
    CREATE TEMPORARY TABLE print_table(
      randstr  VARCHAR
    ) WITH (
      'connector' = 'print',
      'logger' = 'true'
    );
    
    INSERT INTO print_table
    SELECT SUBSTRING(randstr,0,8) from datagen_source;
  3. 单击验证,进行语法检查。
  4. 验证通过后,单击上线

步骤三:启动作业,查看Flink计算结果

  1. 在左侧导航栏,单击作业运维
  2. 单击目标作业名称操作列中的启动
    上线启动
  3. 单击确认启动
    单击启动后,您可以看到作业从当前状态到期望状态的变化过程及最终结果。直到状态变为RUNNING,则代表作业运行正常。状态变化
  4. 在作业运维页面,单击作业名称,在TaskManager页签的日志中查看Flink计算结果。
    结果

相关文档