全部产品
Search
文档中心

智能数据建设与治理 Dataphin:Session集群

更新时间:Mar 31, 2026

背景信息

Session集群管理用于管理Flink on Yarn部署模式下的Flink任务以Session模式运行时所需的集群资源。用户可以创建、查看、管理多个Session集群实例,并查看集群的资源配置和运行状态。

  • 资源隔离:支持多个Session集群,实现不同业务或项目的资源隔离。

  • 集中管理:统一界面管理所有Session集群,提升运维效率。

  • 状态监控:实时查看集群运行状态和资源使用情况。

  • 操作便捷:提供快速创建、启动、停止等集群操作能力。

使用限制

仅实时计算引擎使用Apache Flink(即开源Flink)且部署模式为Flink on Yarn时,支持Session集群功能。

权限说明

  • 超级管理员系统管理员和拥有项目-集群管理-管理权限的自定义全局角色,均可创建和管理Session集群。

  • 支持集群负责人对自己负责的集群进行管理。

创建Session集群

  1. 在Dataphin首页的顶部菜单栏中,单击规划

  2. 在左侧导航栏中选择项目 > Session集群

  3. Session集群页面中,单击+新建Session集群

  4. 新建Session集群对话框中,配置以下参数,配置完成后单击确定

    • 基本信息

      参数

      描述

      集群名称

      输入当前集群的名称,仅支持英文、数字和下划线(_),长度不超过64个字符。

      负责人

      可选择一个当前租户下的成员,成为当前集群的负责人。负责人可管理当前集群,支持编辑、查看历史版本和删除操作。

      集群

      仅支持选择Cloudera Data Platform 7.x、Aliyun EMR 5.x类型的集群。

      引擎版本

      当前仅支持Flink 1.20。

      队列

      输入队列名称。

    • Kerberos认证配置

      参数

      描述

      Flink Kerberos

      用于启动Session集群。若所选集群未开启Kerberos,则默认关闭且不可开启;若所选集群已开启Kerberos,则默认开启且支持关闭。

      Keytab File

      当开启Kerberos时,需上传Keytab File。

      Principal

      当开启Kerberos时,需填写Kerberos认证Principal名,例如XXXX/hadoopclient@xxx.xxx

      用户名

      当关闭Kerberos时,需填写用户名。为保证任务正常执行,请确认有所需所有权限。

    • 资源配置

      参数

      描述

      Job Manager

      填写Session集群Job Manager的CPU和Memory,需要为正整数。

      • CPU:最小且默认为1G。

      • Memory:最小为1G,默认为4G。

      Task Manager

      填写Session集群Task Manager的CPU和Memory,需要为正整数。

      • CPU:最小为1G,默认为2G。

      • Memory:最小为1G,默认为8G。

      Slot数量

      填写Slot数量,需要为正整数,最小为1个,默认为8个。

    • 运行参数

      您可以在代码框中输入Session集群运行参数相关配置。后续使用Session集群调试Flink任务时,将默认配置该参数信息。

      重要

      运行参数与任务配置重复时,系统将以任务配置的运行参数为准。

管理Session集群

  1. 在Dataphin首页的顶部菜单栏中,单击规划

  2. 在左侧导航栏中选择项目 > Session集群

  3. Session集群页面中,查看Session集群列表,列表中展示集群名称、负责人、CPU、内存、状态和最近更新人/更新时间。

    状态:对应Session集群的运行状态,包含启动中、运行中、停用中、已停用和失败。当集群状态为失败时,可单击image图标,在错误信息对话框中查看具体错误代码和错误信息,同时支持复制错误信息。

  4. 在Session集群列表操作列中,对目标集群进行相关管理操作。支持的操作如下。

    操作项

    说明

    查看

    单击目标集群操作列的image图标,查看集群当前版本的详细信息。

    启动

    启动已停用状态的Session集群。

    停用

    停用已启动状态的Session集群。

    重要

    停用Session集群将自动停止在此集群上运行的所有任务。

    编辑

    单击目标已停用集群操作列的image图标,在编辑Session集群对话框中修改已有的配置。修改完成后,单击保存,在弹出的对话框中填写变更说明并单击确定

    跳转Flink UI

    可以跳转到当前运行中Session集群的Flink UI查看集群信息

    启停日志

    查看当前Session集群最近7天的启停日志。包括操作类型、操作信息、日志。如下图所示:

    image.png

    删除

    说明
    • 仅在当前Session集群下没有关联的计算源时,支持删除当前集群。

    • 集群删除后无法恢复

    单击目标集群操作列的image图标,选择删除,在弹出的对话框中,单击确定