您可為即時整合任務配置運行時資源,即時整合時將使用所配置的資源進行任務運行。本文將為您介紹如何配置即時整合資源。
操作步驟
在Dataphin首頁的頂部功能表列,選擇研發 > Data Integration。
在頂部功能表列選擇專案(Dev-Prod模式還需要選擇環境)。
在左側導覽列中選擇整合 > 即時整合。
單擊目標即時整合任務名稱,在當前即時整合任務頁簽頂部功能表列中單擊資源配置。
在資源配置地區,配置即時整合任務資源。
參數
描述
增量同步處理
引擎版本
當前即時整合任務所使用的Realtime Compute引擎及版本資訊。
阿里雲Realtime ComputeFlink(vvp):VVP vvr-6.0.4-flink-1.15
Flink on yarn:Open Flink 1.15.3
Flink on K8s:OPEN_FLINK_K8S 1.15.3
Job Manager CPU、Task Manager CPU
預設為1。當Realtime Compute源使用Ververica Flink、Flink(K8s部署模式)時,支援輸入2位小數;當Realtime Compute源使用Flink(Yarn部署模式)時,僅支援輸入正整數。
Job Manager Memory、Task Manager Memory
預設為2Gi。可填入數字(單位Byte),或填入記憶體單位為Gi/Mi的數字。例如1024000、1024Mi、1.5Gi。
資料重新整理周期/批量寫入周期
僅當即時整合目標庫為Hive時,需配置資料重新整理周期。
資料湖表格式為不選擇:預設15分鐘。提交周期最小為1分鐘,最大為60分鐘。資料寫入Hive目標檔案周期時間長度,周期時間越小,Hive目標檔案越多,影響Hadoop叢集效能。
資料湖表格式為Hudi:重新整理周期可選擇為分鐘或秒,最小為5秒,最大為60分鐘。
僅當即時整合目標庫為MaxCompute時,需配置批量寫入周期,即資料寫入MaxCompute資料表的重新整理周期。預設30s。最小為5秒,最大為60分鐘。
說明當即時整合目標庫不為Hive或MaxCompute時,不支援配置此參數。
全量同步
開發工作單位調度資源群組、生產任務調度資源群組
專案為Dev-Prod模式時,支援配置開發工作單位調度資源群組和生產任務調度資源群組;專案為Basic模式時,僅支援配置調度資源群組。預設選擇為專案預設資源群組(租戶預設資源群組),可單擊查看資源群組詳情,前往管理中心 > 系統設定 > 資源設定 > 資源群組設定中查看資源群組詳情。
開發工作單位調度資源群組:開發工作單位在執行時所消耗的資源,不同資源群組之間資源相互隔離互不影響。任務提交後可在開發環境任務的屬性中修改。
生產任務調度資源群組、調度資源群組:任務產生的執行個體調度所消耗的資源,不同資源群組之間資源相互隔離互不影響。任務提交後僅可在生產環境的營運中心修改。
說明僅當即時整合任務的同步方案選擇為即時增量+全量時,支援配置此項。
單擊確定,完成即時整合任務資源配置。