全部产品
Search
文档中心

实时计算Flink版:开通Flink全托管

更新时间:Dec 08, 2023

本文为您介绍通过阿里云账号开通Flink全托管的操作步骤,以及开通过程中的注意事项。

前提条件

  • 已拥有阿里云账号。如果您还没有阿里云账号,请先完成注册。

  • 已完成操作授权,详情请参见权限管理

  • 已开通OSS和VPC:

    • Flink全托管采用存储计算分离架构,使用对象存储OSS存储作业系统检查点、作业快照、日志和JAR包等信息。如果您还没有开通OSS,请先完成开通,详情请参见开通OSS服务

    • 您还需要开通VPC,详情请参见创建专有网络和交换机

注意事项

  • 当您需要一次开通的资源数大于1000 CU时,请通过工单进行开通。

  • 开通Flink全托管的过程中会开通ARMS,涉及到的云产品收费标准,详情请参见相关产品计费说明

  • 选择OSS Bucket时,不要对选择的OSS做任何策略设置,例如版本控制、合规保留等。此外,OSS选择后不可更换。

    如果您的Bucket开通了版本控制功能,过多的删除标记会导致List慢等问题。因此,如果您开通了版本控制功能,则需要配置生命周期规则,来定期清理删除标记和不必要的历史版本,从而减少存储成本并提升OSS性能。清理删除标记的操作详情,请参见使用最后一次修改时间的生命周期规则结合版本控制降低存储成本

    警告

    在您的OSS Bucket未开启版本控制功能时,如果您需要设置生命周期规则,请勿对Flink的相关目录(包括artifacts、flink-jobs、flink-savepoints、sql-artifacts、plan和flink-sessionclusters等。)设置清除策略。因为设置清除策略可能会把Flink相关文件清理掉,导致Flink作业运行异常。

开通流程

  1. 登录实时计算控制台

  2. 单击Flink全托管旁的立即购买

  3. 可选:首次购买Flink全托管服务时,需要您授予Flink全托管服务访问相应云资源的权限。单击前往RAM进行授权后,在云资源访问授权页面,单击同意授权。完成自动化授权,即可具有访问相应云产品资源的权限。

  4. 在购买页面,填写配置信息。

    国际站

    类别

    配置项

    说明

    示例

    基本配置

    付费模式

    支持包年包月按量付费模式。计费详情请参见计费项

    按量付费

    购买时长

    包年包月需要选择。

    请选择你所需要购买的时长。

    -

    自动续费

    包年包月需要选择。

    开启自动续费功能后,后续您可以在阿里云控制台上方费用 > 续费管理中修改续费策略。

    -

    处理器架构

    包年包月需要选择。

    提供Intel X86和倚天ARM两大主流CPU架构,满足您对于不同架构的需求。

    说明

    目前仅包年包月付费模式下的华北6(乌兰察布)、华北2(北京)和华东1(杭州)地域支持倚天ARM架构,具体请以控制台购买页显示为准。

    Intel X86架构

    地域

    建议选择与上下游存储相同的地域

    北京

    可用区

    建议选择与上下游存储相同的可用区

    可用区F

    网络配置

    专有网络

    选择对应地域下的专有网络。

    • 如果目标上下游存储在专有网络下,则Flink全托管工作空间必须和目标上下游存储在同一个专有网络下。

    • 仅支持192.168.0.0/16、172.16.0.0/12、10.0.0.0/8三个RFC标准私网网段及其子网。

    flink-test-vpc

    虚拟交换机

    每个Flink作业的Task Manager和Job Manager实例都会占用一个IP,您可以选择1~5个虚拟交换机,根据Flink作业规模,合理规划网段。

    说明

    Flink控制台上只显示指定专有网络下,与阿里云Flink全托管工作空间在同一可用区下的虚拟交换机。如果页面中没有可供选择的虚拟交换机,您可以创建虚拟交换机。

    flinktest-vsw-2ze4fyq366itq6xqp****

    工作空间配置

    工作空间名称

    以小写英文字母开头,包含小写字母、数字、中划线(-),且不能用中划线结尾,长度限制为1~60个字符。

    重要
    • 开通成功后,不可修改工作空间名称

    • 同一个阿里云账号下的工作空间名称是唯一的,请勿填写已有的名称。

    flink-test

    计算资源配额

    包年包月模式需要填写,将按照此配额进行计费。

    -

    配额上限

    按量付费模式需要填写,默认值为1000 CU,您可以进行修改,最大值为9999999。

    存储配置

    OSS存储

    用于存储作业系统检查点、作业快照、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据,默认保存时间为7天。

    • artifacts:上传的JAR包会被存储到该目录。

    • flink-jobs:Flink作业的HA信息和系统检查点信息会被存储到该目录。

    • flink-savepoints:在Flink开发控制台上单击创建快照,最终的快照文件会被存储到该目录。

    • logs:如果您的作业中日志模板选择了OSS,则您的作业的日志会被存储到该目录。

    • sql-artifacts:注册自定义函数和连接器所依赖的文件会被存储到该目录。

    • plan:使用专家模式时,配置的资源信息会被存储到该目录。

    • flink-sessionclusters:Session集群的HA信息和系统检查点信息会被存储到该目录。

    重要
    • Flink全托管服务开通成功后,不可修改OSS存储

    • OSS存储需要与该Flink工作空间在同一地域。

    • 选择Bucket时,请参见注意事项

    flink-test-oss

    监控服务

    监控服务

    开通Flink全托管后,会自动开通ARMS服务,为您提供商业版Prometheus监控能力。关于Prometheus监控服务的计费信息,详情请参见计费说明

    选中

  5. 单击确认订单并支付,即可开通成功。

    支付完成后,单击管理控制台,即可在Flink全托管页签,看到正在创建的工作空间。通常,支付完成后5~10分钟即可创建完成工作空间

  6. 开通完成后,您可以根据需要进行相关操作。

    功能

    操作入口

    查看工作空间详情

    在实时计算控制台上,您可以在Flink全托管页签,单击目标工作空间的更多>工作空间详情,查看空间名称、工作空间ID、OSS Bucket、专有网络名称和ID、虚拟交换机等信息。

    添加项目空间

    工作空间创建后默认生成一个名称为工作空间名称-default项目空间。

    您可以添加项目空间,详情请参见创建与管理项目空间

    作业开发和运维

    单击目标工作空间操作列下的控制台,即可进入Flink开发控制台。您可以进行作业开发和运维工作,详情请参见作业开发运维管理

    同时,本产品内置了丰富的上下游连接器,详情请参见支持的连接器

    说明

    其他阿里云账号或RAM用户共同使用Flink全托管产品时,需要为阿里云账号或RAM用户授权,以进行作业开发等相关操作,详情请参见项目空间授权RAM授权

    订单续费

    您可以在包年包月类型的工作空间到期前进行续费,延长对应工作空间的使用时间。详情请参见续费说明

    资源变配

    您可以对工作空间和项目空间资源进行变配,操作详情请参见资源调整

    转化计费方式

    您可以进行按量付费和包年包月计费模式的互转,详情请参见转换计费方式

    修改虚拟交换机

    您可以修改虚拟交换机,解决虚拟交换机IP不足带来的作业启动失败的问题。详情请参见修改虚拟交换机

    释放资源

    您可以单击目标工作空间的更多>释放资源,释放按量付费的资源,释放后该Flink工作空间将不再进行计费,相关的ARMS会同步释放。