全部產品
Search
文件中心

Dataphin:Ververica Flink即時任務資源自訂

更新時間:Jan 25, 2025

Ververica Flink即時任務資源自訂,即指Realtime ComputeFlink配置細粒度資源的專家模式 (BETA),Flink全託管引入的全新的資源配置模式,支援對作業所使用的資源進行細粒度的資源控制,以滿足作業吞吐的要求。系統會自動根據您配置的資源需求,以Native K8s的模式運行作業,TM的規格和個數將會根據Slot的規格和作業並發度,由系統自動決定。本文將介紹如何在Dataphin自訂Ververica Flink即時任務的資源。

Ververica Flink即時任務資源自訂入口

  1. 在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發

  2. 在資料開發頁面的頂部功能表列中,選擇專案。

  3. 在左側導覽列中選擇資料處理 > 計算任務。在右側計算工作清單中,單擊目標任務。

  4. 在目標計算任務頁簽下,單擊右側邊欄中的配置,開啟配置面板。

  5. 在配置面板中單擊即時模式頁簽,在即時模式頁簽下的資源配置地區中,將資源配置類型配置項,選擇為自訂配置

  6. 單擊自訂配置後的去配置

操作步驟

在資源配置頁面,為您展示一張拓撲圖,圖中每個方框代表了一個計算任務,都可以進行獨立配置。每個Group代表著Group內部的節點可以存放在一台機器進行計算,可以有效避免資料的網路傳播,提升效能。圖中當前的資源配置就是系統預設為您推薦的資源配置。

  1. 單擊需要配置資源的Group右上方的image.png後,在自訂配置Group執行參數自訂配置StreamExecCalc執行參數對話方塊中配置參數。

    • 自訂配置Group執行參

      參數

      描述

      CPU

      定義當前節點啟動並執行CPU。

      Heap Memory

      Heap Memory是堆記憶體,供Java應用程式使用的記憶體,單位為MB或GB。

      Heap Memory及其內部各組成的大小可以通過JVM的一系列命令列參數來控制,在一般的blink程式中,都會需要一定的Heap Memory開銷,,例如申請一定的Heap Memory作為程式的緩衝等,因此您可以按程式的規模來設定其大小。

      Off-Heap Memory

      定義堆外記憶體大小,單位為MB或GB。

      並發數

      批次更新當前SLOT節點下所有OPERATOR節點的並發數。單擊SLOT節點(最外層)的編輯表徵圖,在彈出的對話方塊內配置並發數。

      支援輸入1~32768之間的正整數,若為空白在不進行更新。

      說明

      僅SLOT節點支援批量修改並發數。

    • 自訂配置StreamExecCalc執行參數。

      image.png

      參數

      描述

      並發數

      並發數預設為1,可填任意大於0的整數,-1代表自動推斷。

      Chaining策略

      • ALWAYS始終可以和上下遊運算元Chain一起。

      • HEAD當前運算元作為Chain的前端節點,只和上遊運算元斷開Chain,下遊節點仍和當前運算元Chain在一起。

      • NEVER當前運算元不會與上下遊運算元進行Chain。

      運算元State到期時間設定

      若當前OPEREATOR節點支援state,則支援分別對各個state的到期時間進行設定。

      到期時間單位支援設定為天、小時、分鐘或秒。

  2. 完成參數配置後,單擊確定

  3. 配置完成後,單擊頁面右上方的儲存

    重要

    如果您想繼續使用系統推薦的資源配置,則單擊頁面右上方的重設為系統初始

    同時您也可以儲存資源配置記錄,單擊資源資訊記錄後的儲存當前配置為新紀錄。在儲存資源記錄對話方塊中,輸入資源記錄名稱後,單擊確定。 

    對已有的資源資訊記錄,您可以執行以下操作。

    操作

    描述

    查看版本資訊

    單擊某個記錄操作列下的tesga表徵圖,查看版本資訊。

    啟用記錄

    1. 單擊某個記錄的操作列下的taga表徵圖。

    2. 提示對話方塊中,單擊確定

    刪除記錄

    1. 單擊某個記錄操作列下的teag表徵圖。

    2. 提示對話方塊中,單擊確定