背景信息
Session集群管理用于管理Flink on Yarn部署模式下的Flink任务以Session模式运行时所需的集群资源。用户可以创建、查看、管理多个Session集群实例,并查看集群的资源配置和运行状态。
资源隔离:支持多个Session集群,实现不同业务或项目的资源隔离。
集中管理:统一界面管理所有Session集群,提升运维效率。
状态监控:实时查看集群运行状态和资源使用情况。
操作便捷:提供快速创建、启动、停止等集群操作能力。
使用限制
仅实时计算引擎使用Apache Flink(即开源Flink)且部署模式为Flink on Yarn时,支持Session集群功能。
权限说明
超级管理员、系统管理员和拥有项目-集群管理-管理权限的自定义全局角色,均可创建和管理Session集群。
支持集群负责人对自己负责的集群进行管理。
创建Session集群
在Dataphin首页的顶部菜单栏中,单击规划。
在左侧导航栏中选择项目 > Session集群。
在Session集群页面中,单击+新建Session集群。
在新建Session集群对话框中,配置以下参数,配置完成后单击确定。
基本信息
参数
描述
集群名称
输入当前集群的名称,仅支持英文、数字和下划线(_),长度不超过64个字符。
负责人
可选择一个当前租户下的成员,成为当前集群的负责人。负责人可管理当前集群,支持编辑、查看历史版本和删除操作。
集群
仅支持选择Cloudera Data Platform 7.x、Aliyun EMR 5.x类型的集群。
引擎版本
当前仅支持Flink 1.20。
队列
输入队列名称。
Kerberos认证配置
参数
描述
Flink Kerberos
用于启动Session集群。若所选集群未开启Kerberos,则默认关闭且不可开启;若所选集群已开启Kerberos,则默认开启且支持关闭。
Keytab File
当开启Kerberos时,需上传Keytab File。
Principal
当开启Kerberos时,需填写Kerberos认证Principal名,例如
XXXX/hadoopclient@xxx.xxx。用户名
当关闭Kerberos时,需填写用户名。为保证任务正常执行,请确认有所需所有权限。
资源配置
参数
描述
Job Manager
填写Session集群Job Manager的CPU和Memory,需要为正整数。
CPU:最小且默认为1G。
Memory:最小为1G,默认为4G。
Task Manager
填写Session集群Task Manager的CPU和Memory,需要为正整数。
CPU:最小为1G,默认为2G。
Memory:最小为1G,默认为8G。
Slot数量
填写Slot数量,需要为正整数,最小为1个,默认为8个。
运行参数
您可以在代码框中输入Session集群运行参数相关配置。后续使用Session集群调试Flink任务时,将默认配置该参数信息。
重要运行参数与任务配置重复时,系统将以任务配置的运行参数为准。
管理Session集群
在Dataphin首页的顶部菜单栏中,单击规划。
在左侧导航栏中选择项目 > Session集群。
在Session集群页面中,查看Session集群列表,列表中展示集群名称、负责人、CPU、内存、状态和最近更新人/更新时间。
状态:对应Session集群的运行状态,包含启动中、运行中、停用中、已停用和失败。当集群状态为失败时,可单击
图标,在错误信息对话框中查看具体错误代码和错误信息,同时支持复制错误信息。在Session集群列表操作列中,对目标集群进行相关管理操作。支持的操作如下。
操作项
说明
查看
单击目标集群操作列的
图标,查看集群当前版本的详细信息。启动
启动已停用状态的Session集群。
停用
停用已启动状态的Session集群。
重要停用Session集群将自动停止在此集群上运行的所有任务。
编辑
单击目标已停用集群操作列的
图标,在编辑Session集群对话框中修改已有的配置。修改完成后,单击保存,在弹出的对话框中填写变更说明并单击确定。跳转Flink UI
可以跳转到当前运行中Session集群的Flink UI查看集群信息。
启停日志
查看当前Session集群最近7天的启停日志。包括操作类型、操作信息、日志。如下图所示:

删除
说明仅在当前Session集群下没有关联的计算源时,支持删除当前集群。
集群删除后无法恢复。
单击目标集群操作列的
图标,选择删除,在弹出的对话框中,单击确定。