全部產品
Search
文件中心

Dataphin:建立FusionInsight Flink計算源

更新時間:Jan 25, 2025

FusionInsight Flink計算源用於承載Dataphin專案下基於FusionInsight Flink的計算資源,只有綁定了FusionInsight Flink計算源的專案,才支援基於FusionInsight Flink引擎研發計算任務。本文將為您介紹如何建立FusionInsight Flink計算源。

前提條件

  • 當前租戶已經啟用FusionInsight Flink作為Realtime Compute引擎。更多資訊,請參見設定Realtime Compute引擎

  • 僅支援具備建立計算源許可權點的自訂使用者角色和超級管理員專案系統管理員角色的帳號建立計算源。更多資訊,請參見數倉規劃許可權列表

操作步驟

  1. 在Dataphin首頁,單擊頂部功能表列的規劃->計算源

  2. 按照以下操作指引,進入建立計算源頁面。

    依次單擊新增計算源->FusionInsight Flink計算源

    image

  3. 建立計算源頁面,配置參數。

    參數

    描述

    計算引擎源基本資料

    計算源類型

    選擇為FusionInsight Flink

    計算源名稱

    填寫計算源的名稱。命名規則如下:

    • 包含中文、數字、字母及底線(_)或短劃線(-)。

    • 不能超過64個字元。

    計算源描述

    填寫計算源的描述,128個字元以內。

    叢集基本資料

    Endpoint

    請輸入FusionInsight Flink叢集的Endpoint地址。您可以根據叢集是否開啟高可用(HA)進行擷取:

    • 關閉HA高可用(flink_ha_enabled參數的值為false

      1. 登入叢集Manager介面,選擇叢集 > 服務 > Flink

      2. 概覽頁簽下的基本資料地區單擊Flink WebUI後的連結,進入Flink WebUI介面。

      3. 地址欄URI中{ip}即是Endpoint。REST API連接埠預設為28943

    • 開啟HA高可用(即flink_ha_enabled參數的值為true

      登入叢集Manager介面,選擇叢集 > 服務 > Flink > 配置 > 全部配置 > 
flink.ha.floatip,參數值即是Endpoint。

      說明

      REST API連接埠預設為28943。

    TenantID

    請輸入MRS應用ID(專案編號)。

    認證方式

    支援Kerberos認證和無認證方式。選擇Kerberos認證方式,需上傳Krb5檔案。

    Flink計算引擎配置資訊

    Flink任務資源隊列

    Flink任務提交到yarn的隊列名稱。命名規範及限制說明如下:

    • 長度限制:隊列名稱長度不能超過255個字元。

    • 字元限制:隊列名稱只能包含英文、數字、點(.)和底線(_),不能包含其他特殊字元。

    • 大小寫敏感:隊列名稱大小寫敏感,即名稱中的大小寫字母為不同的字元。

    • 唯一性:隊列名稱必須是計算源唯一,不能與其他隊列名稱重複。

    若需配置多個任務隊列,您可單擊+添加進行新增。

    重要
    • 添加的資源隊列個數最多支援10個

    • 若需刪除多餘的資源隊列,您可單擊image進行刪除。刪除後,可能會影響該資源隊列上已有作業的正常運行。

    Flink任務資源隊列

    支援Kerberos認證和無認證方式。選擇Kerberos認證方式,要填寫Principal和上傳Keytab檔案。

  4. 單擊測試連接,測試Dataphin與叢集的連通性。

  5. 測試成功後,單擊提交

後續步驟

完成建立FusionInsight Flink計算源後,即可為專案綁定FusionInsight Flink計算源。更多資訊,請參見建立通用專案