開源Flink流批一體任務離線模式的資源配置支援配置任務的生產環境和開發的資源隊列、引擎版本以及任務的並行度、Task Manager Slots、Job Manager Memory、Task Manager Memory等。本文為您介紹如何配置流批一體任務離線模式的資源配置。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發。
在開發頁面的頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中選擇資料處理 > 計算任務。
在計算工作清單中,單擊目標計算任務,開啟對應計算任務頁簽。
單擊頁面右側邊欄的配置,在配置面板中,單擊離線模式頁簽。
在配置面板中資源配置地區,配置任務離線模式的資源配置參數資訊。
Flink on yarn
參數
描述
生產環境資源隊列
預設為建立Flink_SQL任務時所選擇的叢集。您可在此處進行引擎切換。
重要切換後提交生效的任務執行可能存在差異,請謹慎操作。
生產環境引擎版本
預設為建立Flink_SQL任務時所選擇的引擎版本。您可在此處切換引擎版本。
開發環境資源隊列及引擎版本
預設為建立Flink_SQL任務時所選擇的配置,您可在此處進行再次配置。支援選擇系統預設配置或自行配置。
系統預設配置:使用與生產環境相同的環境叢集與引擎版本。
自行配置:您可自行選擇開發環境任務啟動並執行環境叢集及引擎版本。若您的專案空間為Basic模式,則無需配置。
並行度
預設為1,可填任意大於0的整數,-1代表自動推斷。
Task Manager Slots
預設為空白,可填任意大於0的整數。
Job Manager Memory
該任務在Flink叢集的控制單元中所佔用的記憶體大小。預設為1Gi,建議使用Gi/Mi/單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
Task Manager Memory
預設為1Gi,建議使用Gi/Mi/單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
Job Manager CPUs
分配給運行Job Manager進程的CPU計算資源。預設為1,可填任意大於0的整數。
Job Manager CPUs
分配給運行Task Manager進程的CPU計算資源。預設為1,可填任意大於0的整數。
Flink on K8s
參數
描述
生產環境資源隊列
預設為建立Flink_SQL任務時所選擇的叢集。您可在此處進行引擎切換。
重要切換後提交生效的任務執行可能存在差異,請謹慎操作。
生產環境引擎版本
預設為建立Flink_SQL任務時所選擇的引擎版本。您可在此處切換引擎版本。
開發環境資源隊列及引擎版本
預設為建立Flink_SQL任務時所選擇的配置,您可在此處進行再次配置。支援選擇系統預設配置或自行配置。
系統預設配置:使用與生產環境相同的環境叢集與引擎版本。
自行配置:您可自行選擇開發環境任務啟動並執行環境叢集及引擎版本。若您的專案空間為Basic模式,則無需配置。
並行度
預設為1,可填任意大於0的整數,-1代表自動推斷。
Task Manager 數量
預設為1,可填入任意大於0的整數。
Job Manager CPUs
該任務在Flink叢集的控制單元中所佔用的CPU資源大小。預設為1Gi,建議使用Gi/Mi/單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
Task Manager Memory
預設為1Gi,建議使用Gi/Mi/單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
單擊確定,完成任務離線模式的資源配置。