背景資訊
Session叢集管理用於管理Flink on Yarn部署模式下的Flink任務以Session模式運行時所需的叢集資源。使用者可以建立、查看、管理多個Session叢集執行個體,並查看叢集的資源配置和運行狀態。
資源隔離:支援多個Session叢集,實現不同業務或專案的資源隔離。
集中管理:統一介面管理所有Session叢集,提升營運效率。
狀態監控:即時查看叢集運行狀態和資源使用方式。
操作便捷:提供快速建立、啟動、停止等叢集操作能力。
使用限制
僅Realtime Compute引擎使用Apache Flink(即開源Flink)且部署模式為Flink on Yarn時,支援Session叢集功能。
許可權說明
超級管理員、系統管理員和擁有專案-叢集管理-管理許可權的自訂全域角色,均可建立和管理Session叢集。
支援叢集負責人對自己負責的叢集進行管理。
建立Session叢集
在Dataphin首頁的頂部功能表列中,單擊規劃。
在左側導覽列中選擇專案 > Session叢集。
在Session叢集頁面中,單擊+建立Session叢集。
在建立Session叢集對話方塊中,配置以下參數,配置完成後單擊確定。
基本資料
參數
描述
叢集名稱
輸入當前叢集的名稱,僅支援英文、數字和底線(_),長度不超過64個字元。
負責人
可選擇一個當前租戶下的成員,成為當前叢集的負責人。負責人可管理當前叢集,支援編輯、查看歷史版本和刪除操作。
叢集
僅支援選擇Cloudera Data Platform 7.x、Aliyun EMR 5.x類型的叢集。
引擎版本
當前僅支援Flink 1.20。
隊列
輸入隊列名稱。
Kerberos認證配置
參數
描述
Flink Kerberos
用於啟動Session叢集。若所選叢集未開啟Kerberos,則預設關閉且不可開啟;若所選叢集已開啟Kerberos,則預設開啟且支援關閉。
Keytab File
當開啟Kerberos時,需上傳Keytab File。
Principal
當開啟Kerberos時,需填寫Kerberos認證Principal名,例如
XXXX/hadoopclient@xxx.xxx。使用者名稱
當關閉Kerberos時,需填寫使用者名稱。為保證任務正常執行,請確認有所需所有許可權。
資源配置
參數
描述
Job Manager
填寫Session叢集Job Manager的CPU和Memory,需要為正整數。
CPU:最小且預設為1G。
Memory:最小為1G,預設為4G。
Task Manager
填寫Session叢集Task Manager的CPU和Memory,需要為正整數。
CPU:最小為1G,預設為2G。
Memory:最小為1G,預設為8G。
Slot數量
填寫Slot數量,需要為正整數,最小為1個,預設為8個。
運行參數
您可以在代碼框中輸入Session叢集運行參數相關配置。後續使用Session叢集調試Flink任務時,將預設配置該參數資訊。
重要運行參數與任務配置重複時,系統將以任務配置的運行參數為準。
管理Session叢集
在Dataphin首頁的頂部功能表列中,單擊規劃。
在左側導覽列中選擇專案 > Session叢集。
在Session叢集頁面中,查看Session叢集列表,列表中展示叢集名稱、負責人、CPU、記憶體、狀態和最新動向人/更新時間。
狀態:對應Session叢集的運行狀態,包含啟動中、運行中、停用中、已停用和失敗。當叢集狀態為失敗時,可單擊
表徵圖,在錯誤資訊對話方塊中查看具體錯誤碼和錯誤資訊,同時支援複製錯誤資訊。在Session叢集列表操作列中,對目的地組群進行相關管理操作。支援的操作如下。
操作項
說明
查看
單擊目的地組群操作列的
表徵圖,查看叢集目前的版本的詳細資料。啟動
啟動已停用狀態的Session叢集。
停用
停用已啟動狀態的Session叢集。
重要停用Session叢集將自動停止在此叢集上啟動並執行所有任務。
編輯
單擊目標已停用叢集操作列的
表徵圖,在編輯Session叢集對話方塊中修改已有的配置。修改完成後,單擊儲存,在彈出的對話方塊中填寫變更說明並單擊確定。跳轉Flink UI
可以跳轉到當前運行中Session叢集的Flink UI查看叢集資訊。
啟停日誌
查看當前Session叢集最近7天的啟停日誌。包括操作類型、操作資訊、日誌。如下圖所示:

刪除
說明僅在當前Session叢集下沒有關聯的計算源時,支援刪除當前叢集。
叢集刪除後無法恢複。
單擊目的地組群操作列的
表徵圖,選擇刪除,在彈出的對話方塊中,單擊確定。