Flink全托管支持通过JAR代码编辑和运行作业。本文带您快速体验Flink全托管产品的开通、JAR流作业和批作业的创建和上线运行等操作。

前提条件

  • 已准备阿里云账号及账户余额。
    • 账号注册操作步骤,请参见账号注册
    • 阿里云账户余额不少于100美元或等值的代金券或优惠券。
  • 已完成角色授权,详情请参见阿里云账号角色授权
  • 已在本地准备好了测试JAR包和输入数据文件。

操作流程

  1. 步骤一:创建Flink全托管实例
    开通一个北京地域按量付费的Flink全托管实例。
  2. 步骤二:创建JAR作业,并配置作业信息
    Flink全托管支持创建JAR流作业和批作业。您可以根据需要,在作业开发页面创建对应的作业。
  3. 步骤三:启动作业后,查看Flink计算结果
    在作业运维页面,启动作业后,查看Flink计算结果。

步骤一:创建Flink全托管实例

  1. 登录实时计算管理控制台
  2. 单击Flink全托管下的购买产品
  3. 在购买页面,填写配置信息。
    开通
    类别 配置项 示例 说明
    基本配置 付费模式 按量付费 支持包年包月按量付费模式。
    地域 北京 支持新加坡
    说明 建议选择与上下游存储相同的地域
    可用区 可用区F 建议选择与上下游存储相同的可用区
    网络配置 SLB服务 - 系统已默认选中并开通了SLB服务。
    专有网络 flink-test-vpc 建议选择与上下游存储相同的专有网络。
    虚拟交换机 flinktest-vsw-2ze4fyq366itq6xqp**** 每个Flink作业的Task Manager和Job Manager实例都会占用一个 IP, 您可以选择1~5个虚拟交换机,根据Flink作业规模,合理规划网段。
    工作空间配置 工作空间名称 flink-test 以字母开头,仅包含英文字母、数字、中划线(-),长度限制为1~60个字符。
    存储配置 OSS存储 flink-test-oss 用于存储作业的Checkpoint、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据:
    • artifacts:上传的JAR包会被存储到该目录。
    • flink-jobs:Flink作业的HA信息和Checkpoint会被存储到该目录。
    • flink-savepoints:在Flink全托管开发控制台上单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。
    • logs:如果您的作业中日志模板选择了OSS,则您的作业的日志会被存储到该目录。
    • sql-artifacts:注册自定义函数和Connector所依赖的文件会被存储到该目录。
    • plan:使用专家模式,配置的资源信息会被存储到该目录。
    • flink-sessionclusters:Session集群的HA信息和Checkpoint信息会被存储到该目录。
    说明
    • Flink全托管服务开通成功后,不可修改OSS存储
    • OSS存储需要与Flink全托管服务在同一地域。
    • 选择Bucket时,请参见注意事项
    监控配置 监控服务 - 系统已默认选中并开通了Prometheus服务。
  4. 单击确认订单并支付,即可开通成功。
    说明 支付完成后,单击管理控制台,即可在Flink全托管页签,看到正在创建的工作空间。通常,支付完成后5~10分钟即可完成工作空间的创建。

步骤二:创建JAR作业,并配置作业信息

流作业

  1. 创建JAR流作业。
    1. 在左侧导航栏,单击作业开发
    2. 单击新建
    3. 新建文件对话框,填写作业配置信息。
      作业参数 示例 说明
      文件名称 flink-streaming-test-jar 作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型 流作业/JAR 流作业和批作业均支持以下文件类型:
      • SQL
      • JAR
      • PYTHON
      部署目标 vvp-workload 选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明,请参见配置开发测试环境(Session集群)
      存储位置 作业开发 指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

    4. 单击确认
  2. 在作业开发页面,填写基本配置信息。
    您可以直接填写以下配置信息,也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数 示例 说明
    部署目标 vvp-workload 您可以修改创建作业时已选择的部署目标。
    JAR URI oss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar 单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后,再单击右侧上传图标选择文件,上传JAR包。
    Entrypoint Class org.example.WordCountStreaming 程序的入口类。如果您的JAR包未指定主类,请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码,又包含批作业代码。所以,此处需要指定为流作业的程序入口。
    Entrypoint main args --input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare 填写输入数据文件的OSS路径。
    说明
    • 本文输入数据文件和测试JAR包存放路径一致。统一放在OSS控制台,名称为flink-test-oss的Bucket下。
    • 单击Shakespeare,下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面,将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件 无需填写 填写目标附加依赖文件的OSS路径或者URL。
    并行度 1 作业并发数。
  3. 单击上线
  4. 单击确认

批作业

  1. 创建JAR批作业。
    1. 在左侧导航栏,单击作业开发
    2. 单击新建
    3. 新建文件对话框,填写作业配置信息。
      作业参数 示例 说明
      文件名称 flink-batch-test-jar 作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型 批作业/JAR 流作业和批作业均支持以下文件类型:
      • SQL
      • JAR
      • PYTHON
      部署目标 vvp-workload 选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明,请参见配置开发测试环境(Session集群)
      存储位置 作业开发 指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

    4. 单击确认
  2. 在作业开发页面,填写基本配置信息。
    您可以直接填写以下配置信息,也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数 示例 说明
    部署目标 vvp-workload 您可以修改创建作业时已选择的部署目标。
    JAR URI oss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar 单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后,再单击右侧上传图标选择文件,上传JAR包。
    Entrypoint Class org.example.WordCountBatch 程序的入口类。如果您的JAR包未指定主类,请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码,又包含批作业代码。所以,此处需要指定为批作业的程序入口。
    Entrypoint main args --input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare --output oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt 填写输入数据文件和结果数据输出文件路径。
    说明
    • 本示例中输入数据文件、输出文件和测试JAR包存放路径一致。统一放在OSS控制台,名称为flink-test-oss的Bucket下。
    • 本示例中,我们以将计算结果写入到OSS指定目录为例,为您展示如何配置该参数。在此您仅需要指定结果数据输出文件路径和名称,无需提前在指定目录创建。
    • 单击Shakespeare,下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面,将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件 无需填写 填写目标附加依赖文件的OSS路径或者URL。
    并行度 1 作业并发数。
  3. 单击上线
  4. 单击确认

步骤三:启动作业后,查看Flink计算结果

  1. 在左侧导航栏,单击作业运维
  2. 单击目标作业名称操作列中的启动
  3. 单击确认启动
    单击启动后,您可以看到作业从当前状态到期望状态的变化过程及最终结果。直到状态变为RUNNING,则代表作业运行正常。状态变化
    注意 如果您需要启动批作业,则需要在作业运维页面,将作业类型切换为批作业,才可以看到您上线的批作业。系统默认展示的作业为流作业
  4. 查看Flink计算结果。
    • 流作业示例的计算结果:在作业运维页面,单击作业名称,在TaskManager页签的日志中查看Flink计算结果。流结果
    • 批作业示例的计算结果:登录OSS管理控制台,在您配置的数据输出文件存放目录查看结果。
      本示例中的数据输出文件目录为oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt批作业结果

相关文档