Ververica Flink即時任務資源自訂,即指Realtime ComputeFlink配置細粒度資源的專家模式 (BETA),Flink全託管引入的全新的資源配置模式,支援對作業所使用的資源進行細粒度的資源控制,以滿足作業吞吐的要求。系統會自動根據您配置的資源需求,以Native K8s的模式運行作業,TM的規格和個數將會根據Slot的規格和作業並發度,由系統自動決定。本文將介紹如何在Dataphin自訂Ververica Flink即時任務的資源。
Ververica Flink即時任務資源自訂入口
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發。
在資料開發頁面的頂部功能表列中,選擇專案。
在左側導覽列中選擇資料處理 > 計算任務。在右側計算工作清單中,單擊目標任務。
在目標計算任務頁簽下,單擊右側邊欄中的配置,開啟配置面板。
在配置面板中單擊即時模式頁簽,在即時模式頁簽下的資源配置地區中,將資源配置類型配置項,選擇為自訂配置。
單擊自訂配置後的去配置。
操作步驟
在資源配置頁面,為您展示一張拓撲圖,圖中每個方框代表了一個計算任務,都可以進行獨立配置。每個Group代表著Group內部的節點可以存放在一台機器進行計算,可以有效避免資料的網路傳播,提升效能。圖中當前的資源配置就是系統預設為您推薦的資源配置。
單擊需要配置資源的Group右上方的
後,在自訂配置Group執行參數和自訂配置StreamExecCalc執行參數對話方塊中配置參數。自訂配置Group執行參數。
參數
描述
CPU
定義當前節點啟動並執行CPU。
Heap Memory
Heap Memory是堆記憶體,供Java應用程式使用的記憶體,單位為MB或GB。
Heap Memory及其內部各組成的大小可以通過JVM的一系列命令列參數來控制,在一般的blink程式中,都會需要一定的Heap Memory開銷,,例如申請一定的Heap Memory作為程式的緩衝等,因此您可以按程式的規模來設定其大小。
Off-Heap Memory
定義堆外記憶體大小,單位為MB或GB。
並發數
批次更新當前SLOT節點下所有OPERATOR節點的並發數。單擊SLOT節點(最外層)的編輯表徵圖,在彈出的對話方塊內配置並發數。
支援輸入1~32768之間的正整數,若為空白在不進行更新。
說明僅SLOT節點支援批量修改並發數。
自訂配置StreamExecCalc執行參數。

參數
描述
並發數
並發數預設為1,可填任意大於0的整數,-1代表自動推斷。
Chaining策略
ALWAYS:始終可以和上下遊運算元Chain一起。
HEAD:當前運算元作為Chain的前端節點,只和上遊運算元斷開Chain,下遊節點仍和當前運算元Chain在一起。
NEVER:當前運算元不會與上下遊運算元進行Chain。
運算元State到期時間設定
若當前OPEREATOR節點支援state,則支援分別對各個state的到期時間進行設定。
到期時間單位支援設定為天、小時、分鐘或秒。
完成參數配置後,單擊確定。
配置完成後,單擊頁面右上方的儲存。
重要如果您想繼續使用系統推薦的資源配置,則單擊頁面右上方的重設為系統初始。
同時您也可以儲存資源配置記錄,單擊資源資訊記錄後的儲存當前配置為新紀錄。在儲存資源記錄對話方塊中,輸入資源記錄名稱後,單擊確定。
對已有的資源資訊記錄,您可以執行以下操作。
操作
描述
查看版本資訊
單擊某個記錄操作列下的
表徵圖,查看版本資訊。啟用記錄
單擊某個記錄的操作列下的
表徵圖。在提示對話方塊中,單擊確定。
刪除記錄
單擊某個記錄操作列下的
表徵圖。在提示對話方塊中,單擊確定。