全部產品
Search
文件中心

Dataphin:Session叢集

更新時間:Apr 02, 2026

背景資訊

Session叢集管理用於管理Flink on Yarn部署模式下的Flink任務以Session模式運行時所需的叢集資源。使用者可以建立、查看、管理多個Session叢集執行個體,並查看叢集的資源配置和運行狀態。

  • 資源隔離:支援多個Session叢集,實現不同業務或專案的資源隔離。

  • 集中管理:統一介面管理所有Session叢集,提升營運效率。

  • 狀態監控:即時查看叢集運行狀態和資源使用方式。

  • 操作便捷:提供快速建立、啟動、停止等叢集操作能力。

使用限制

僅Realtime Compute引擎使用Apache Flink(即開源Flink)且部署模式為Flink on Yarn時,支援Session叢集功能。

許可權說明

  • 超級管理員系統管理員和擁有專案-叢集管理-管理許可權的自訂全域角色,均可建立和管理Session叢集。

  • 支援叢集負責人對自己負責的叢集進行管理。

建立Session叢集

  1. 在Dataphin首頁的頂部功能表列中,單擊規劃

  2. 在左側導覽列中選擇專案 > Session叢集

  3. Session叢集頁面中,單擊+建立Session叢集

  4. 建立Session叢集對話方塊中,配置以下參數,配置完成後單擊確定

    • 基本資料

      參數

      描述

      叢集名稱

      輸入當前叢集的名稱,僅支援英文、數字和底線(_),長度不超過64個字元。

      負責人

      可選擇一個當前租戶下的成員,成為當前叢集的負責人。負責人可管理當前叢集,支援編輯、查看歷史版本和刪除操作。

      叢集

      僅支援選擇Cloudera Data Platform 7.x、Aliyun EMR 5.x類型的叢集。

      引擎版本

      當前僅支援Flink 1.20。

      隊列

      輸入隊列名稱。

    • Kerberos認證配置

      參數

      描述

      Flink Kerberos

      用於啟動Session叢集。若所選叢集未開啟Kerberos,則預設關閉且不可開啟;若所選叢集已開啟Kerberos,則預設開啟且支援關閉。

      Keytab File

      當開啟Kerberos時,需上傳Keytab File。

      Principal

      當開啟Kerberos時,需填寫Kerberos認證Principal名,例如XXXX/hadoopclient@xxx.xxx

      使用者名稱

      當關閉Kerberos時,需填寫使用者名稱。為保證任務正常執行,請確認有所需所有許可權。

    • 資源配置

      參數

      描述

      Job Manager

      填寫Session叢集Job Manager的CPU和Memory,需要為正整數。

      • CPU:最小且預設為1G。

      • Memory:最小為1G,預設為4G。

      Task Manager

      填寫Session叢集Task Manager的CPU和Memory,需要為正整數。

      • CPU:最小為1G,預設為2G。

      • Memory:最小為1G,預設為8G。

      Slot數量

      填寫Slot數量,需要為正整數,最小為1個,預設為8個。

    • 運行參數

      您可以在代碼框中輸入Session叢集運行參數相關配置。後續使用Session叢集調試Flink任務時,將預設配置該參數資訊。

      重要

      運行參數與任務配置重複時,系統將以任務配置的運行參數為準。

管理Session叢集

  1. 在Dataphin首頁的頂部功能表列中,單擊規劃

  2. 在左側導覽列中選擇專案 > Session叢集

  3. Session叢集頁面中,查看Session叢集列表,列表中展示叢集名稱、負責人、CPU、記憶體、狀態和最新動向人/更新時間。

    狀態:對應Session叢集的運行狀態,包含啟動中、運行中、停用中、已停用和失敗。當叢集狀態為失敗時,可單擊image表徵圖,在錯誤資訊對話方塊中查看具體錯誤碼和錯誤資訊,同時支援複製錯誤資訊。

  4. 在Session叢集列表操作列中,對目的地組群進行相關管理操作。支援的操作如下。

    操作項

    說明

    查看

    單擊目的地組群操作列的image表徵圖,查看叢集目前的版本的詳細資料。

    啟動

    啟動已停用狀態的Session叢集。

    停用

    停用已啟動狀態的Session叢集。

    重要

    停用Session叢集將自動停止在此叢集上啟動並執行所有任務。

    編輯

    單擊目標已停用叢集操作列的image表徵圖,在編輯Session叢集對話方塊中修改已有的配置。修改完成後,單擊儲存,在彈出的對話方塊中填寫變更說明並單擊確定

    跳轉Flink UI

    可以跳轉到當前運行中Session叢集的Flink UI查看叢集資訊

    啟停日誌

    查看當前Session叢集最近7天的啟停日誌。包括操作類型、操作資訊、日誌。如下圖所示:

    image.png

    刪除

    說明
    • 僅在當前Session叢集下沒有關聯的計算源時,支援刪除當前叢集。

    • 叢集刪除後無法恢複

    單擊目的地組群操作列的image表徵圖,選擇刪除,在彈出的對話方塊中,單擊確定