完成作业开发和上线后,您需要在作业运维页面启动作业至运行阶段。此外,作业在停止后需要恢复时,也需要启动作业。本文为您介绍如何启动JAR类型的流作业和批作业。

前提条件

其他阿里云账号或RAM用户共同使用Flink全托管产品时,需要为阿里云账号或RAM用户授权,以进行作业启动等相关操作,详情请参见作业操作账号授权

使用限制

  • 仅实时计算引擎VVR4.0.11及以上版本支持State兼容性检测。
  • 仅实时计算引擎VVR4.0.8及以上版本的界面上支持设置启动位点。
    作业启动界面指定的读取数据时间优先级高于作业DDL代码里设置的startTime。即如果您在作业DDL和作业启动界面都指定了读取数据时间,则按照作业启动界面指定的读取数据时间生效。
    说明
    • 不是所有的Connector都支持startTime,详情请参见各Connector WITH参数是否包含startTime,例如日志服务SLS WITH参数
    • 只有全新启动作业并指定了startTimestartTime才生效。如果基于Checkpoint或Savepoint启动作业,即使指定了startTimestartTime也不会生效。
  • JAR作业仅支持以基础资源模式启动,不支持按照专家模式启动。

注意事项

在启动作业时,如果您选择从最新、当前作业的历史快照、其他作业的快照启动作业时,系统会进行State兼容性检测。兼容性检测详情请参见Flink State兼容性参考

流作业启动

  1. 进入目标流作业启动页面。
    1. 登录实时计算控制台
    2. Flink全托管页签,单击对应工作空间操作列下的控制台
    3. 在左侧导航栏上,选择应用 > 作业运维
    4. 在作业模式下拉列表中,选择流作业
      流作业
    5. 单击漏斗图标,选中JAR后,单击确定
      筛选类型
  2. 在目标流作业名称右侧,单击操作列中的启动
  3. 作业启动配置对话框,进行资源设置和基础设置。
    1. 填写资源设置信息。
      JAR作业启动
      说明 JAR类型的作业仅支持基础模式启动。
      您可以直接单击从运行历史资源加载后,选择对应的历史资源。或者,您也可以直接按照需要填写相关参数信息。基础模式的配置项详情如下:
      配置项 说明
      JobManager CPU Cores 默认值为1。根据Flink最佳实践,单个JM内存资源需要至少配置为0.25 core和1 Gi,才能保证作业稳定运行。
      JobManager Memory 最小值为1 Gi。单位建议使用Gi或Mi,例如,1024 Mi或1.5 Gi。
      TaskManager CPU Cores 默认值为1。根据Flink最佳实践,单个TM内存资源需要至少配置为0.25 core和1 Gi,才能保证作业稳定运行。
      TaskManager Memory 最小值为1 Gi。单位建议使用Gi或Mi,例如,1024 Mi或1.5 Gi。
      并发度 作业全局并发数,默认值为1。
      Flink配置 可以配置的参数及说明,详情请参见Configuration
    2. 单击下一步
    3. 填写基础配置信息。
      基础设置
      配置项 说明
      启动策略 支持以下几种启动策略:
      • 全新启动(无状态):当您是新上线作业,可以选择全新启动。此外,如果无法复用State,也可以全新启动。
      • 从其他作业的快照恢复:从其他作业的快照恢复作业,常用于克隆作业后的双跑测试。

        选择此策略后,您需要依次选择目标作业和目标快照。

        重要 选择此选项时,如果作业逻辑修改出现状态不兼容,则可能导致作业启动失败。
      允许忽略部分算子状态 默认情况下,Flink系统会尝试将整个快照与正在提交的作业匹配。作业的修改引起算子状态的变化,会出现任务不能恢复的情况。此时您可以打开此开关,Flink系统将跳过无法匹配的状态,让作业先正常启动起来。允许忽略部分算子状态详情请参见Allow None-Restored State
  4. 单击启动
  5. 在作业运维页面,查看作业运行状态。
    流作业状态
    作业的运行状态及含义详情如下表所示。
    类别 状态 说明
    过渡态 启动中 作业正在启动中,还没有完全启动。
    稳定态 运行中 作业正在运行中。
    说明 作业运行过程中,系统会对作业进行监测,根据监测结果对作业进行打分,用分数来表示作业的健康程度。如果作业的健康分不是100分,则代表作业有风险。此时,您可以单击健康分数,去查看具体的风险原因及修复建议,以使作业快速恢复正常。作业诊断功能详情请参见作业诊断
    已停止 当您单击了停止后,作业显示为已停止
    已完成 作业有限流。
    错误态 已失败 作业运行失败。

批作业启动

  1. 进入目标批作业启动页面。
    1. 登录实时计算控制台
    2. Flink全托管页签,单击对应工作空间操作列下的控制台
    3. 在左侧导航栏上,选择应用 > 作业运维
    4. 在作业模式下拉列表中,选择批作业
      批作业
  2. 在目标批作业名称右侧,单击操作列中的启动
  3. 作业启动配置-批模式对话框,填写资源信息。
    批作业启动配置
    资源信息填写说明如下表所示。
    配置项 说明
    JobManager CPU Cores 默认值为1。根据Flink最佳实践,单个JM内存资源需要至少配置为0.25 core和1 Gi,才能保证作业稳定运行。
    JobManager Memory 最小值为1 Gi。单位建议使用Gi或Mi,例如,1024 Mi或1.5 Gi。
    TaskManager CPU Cores 默认值为1。根据Flink最佳实践,单个TM内存资源需要至少配置为0.25 core和1 Gi,才能保证作业稳定运行。
    TaskManager Memory 最小值为1 Gi。单位建议使用Gi或Mi,例如,1024 Mi或1.5 Gi。
    自动推断并发度 开启后由系统自动设置并发度。
    说明 批作业专用。
    最大Slot个数 批作业可以使用的最大Slot数量,即最大能使用的资源。
    说明 批作业专用。
    Flink配置 可以配置的参数及说明,详情请参见Configuration
  4. 单击启动
  5. 作业启动后,您可以在作业运维页面,查看作业状态。
    批作业启动
    作业的运行状态及含义详情如下表所示。
    类别 状态 说明
    过渡态 启动中 作业正在启动中,还没有完全启动。
    稳定态 运行中 作业正在运行中。
    已停止 当您单击了停止后,作业显示为已停止
    已完成 批作业运行完成后,会显示为已完成
    错误态 已失败 作业运行失败。