開源Flink流批一體任務即時模式的資源配置支援配置任務的生產環境和開發的資源隊列、引擎版本以及任務的並行度、Task Manager Slots、Job Manager Momory、Task Manager Momory等。本文為您介紹如何配置流批一體任務即時模式的資源配置。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料開發。
在頂部功能表列選擇專案(Dev-Prod模式還需選擇環境)。
在左側導覽列選擇資料處理 > 計算任務。
在右側計算工作清單中,選擇目標開源Flink計算任務,單擊該任務右側邊欄的配置。
在配置面板中,單擊即時模式頁簽,在即時模式頁簽中的資源配置地區進行配置。
Flink on yarn
參數
描述
生產環境資源隊列
預設為建立Flink SQL任務時所選擇的資源隊列。您可在此處進行引擎切換。
重要切換後提交生效的任務執行可能存在差異,請謹慎操作。
生產環境引擎版本
預設為建立Flink SQL任務時所選擇的引擎版本。您可以在此處切換引擎版本,支援1.13.1、1.14.2、1.15.3、1.20.1版本。
開發環境資源隊列及引擎版本
預設為建立Flink SQL任務時所選擇的配置,您可在此處進行再次配置。支援選擇系統預設配置或自行配置。
系統預設配置:使用與生產環境相同的環境叢集與引擎版本。
自行配置:您可自行選擇開發環境資源隊列和開發環境引擎版本,其中版本可選擇1.13.1、1.14.2、1.15.3、1.20.1版本。若您的專案空間為Basic模式,則無需配置該配置項。
並行度
預設為1,可填任意大於0的整數, -1代表自動推斷。
Task Manager Slots(非必填)
預設為空白,可填任意大於0的整數。
Job Manager Memory
該任務在Flink叢集的控制單元中所佔用的記憶體大小。預設為2Gi,建議使用Gi/Mi/單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
Task Manager Memory
預設為2Gi,建議使用Gi/Mi單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
Job Manager CPUs
分配給運行Job Manager進程的CPU計算資源。預設為1C,可填任意大於0的整數。
Task Manager CPUs
分配給運行Task Manager進程的CPU計算資源。預設為1C,可填任意大於0的整數。
Flink on K8s
參數
描述
生產環境資源隊列
預設為建立Flink SQL任務時所選擇的資源隊列。您可在此處進行引擎切換。
重要切換後提交生效的任務執行可能存在差異,請謹慎操作。
生產環境引擎版本
預設為建立Flink SQL任務時所選擇的引擎版本。您可以在此處切換引擎版本,支援1.13.1、1.14.2、1.15.3、1.20.1版本。
開發環境資源隊列及引擎版本
預設為建立Flink SQL任務時所選擇的配置,您可在此處進行再次配置。支援選擇系統預設配置或自行配置。
系統預設配置:使用與生產環境相同的環境叢集與引擎版本。
自行配置:您可自行選擇開發環境資源隊列和開發環境引擎版本,其中版本可選擇1.13.1、1.14.2、1.15.3、1.20.1版本。若您的專案空間為Basic模式,則無需配置該配置項。
並行度
預設為1,可填任意大於0的整數, -1代表自動推斷。
Task Manager 數量
預設為1,可填任意大於0的整數。
Job Manager Memory
該任務在Flink叢集的控制單元中所佔用的記憶體大小。預設為1Gi,建議使用Gi/Mi/單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
Task Manager Memory
預設為1Gi,建議使用Gi/Mi單位;可填數字(單位Byte),或填入包含以下記憶體單位(Gi/Mi)的數字,例如填寫1024000、1024Mi、1.5Gi。
JobManager CPU
分配給運行JobManager進程的CPU計算資源。預設為1C,可填任意大於0的數,例如填寫1、10.5。
TaskManager CPU
分配給運行TaskManager進程的CPU計算資源。預設為2C,可填任意大於0的數,例如填寫1、10.5。
單擊確定,完成任務即時模式的資源配置。