全部產品
Search
文件中心

Dataphin:即時整合資源配置

更新時間:Nov 20, 2025

您可為即時整合任務配置運行時資源,即時整合時將使用所配置的資源進行任務運行。本文將為您介紹如何配置即時整合資源。

操作步驟

  1. 在Dataphin首頁的頂部功能表列,選擇研發 > Data Integration

  2. 在頂部功能表列選擇專案(Dev-Prod模式還需要選擇環境)。

  3. 在左側導覽列中選擇整合 > 即時整合

  4. 單擊目標即時整合任務名稱,在當前即時整合任務頁簽頂部功能表列中單擊資源配置

  5. 資源配置地區,配置即時整合任務資源。

    參數

    描述

    增量同步處理

    引擎版本

    當前即時整合任務所使用的Realtime Compute引擎及版本資訊。

    • 阿里雲Realtime ComputeFlink(vvp):VVP vvr-6.0.4-flink-1.15

    • Flink on yarn:Open Flink 1.15.3

    • Flink on K8s:OPEN_FLINK_K8S 1.15.3

    Job Manager CPUTask Manager CPU

    預設為1。當Realtime Compute源使用Ververica Flink、Flink(K8s部署模式)時,支援輸入2位小數;當Realtime Compute源使用Flink(Yarn部署模式)時,僅支援輸入正整數。

    Job Manager MemoryTask Manager Memory

    預設為2Gi。可填入數字(單位Byte),或填入記憶體單位為Gi/Mi的數字。例如1024000、1024Mi、1.5Gi。

    資料重新整理周期/批量寫入周期

    • 僅當即時整合目標庫為Hive時,需配置資料重新整理周期

      • 資料湖表格式為不選擇預設15分鐘。提交周期最小為1分鐘,最大為60分鐘。資料寫入Hive目標檔案周期時間長度,周期時間越小,Hive目標檔案越多,影響Hadoop叢集效能。

      • 資料湖表格式為Hudi:重新整理周期可選擇為分鐘,最小為5秒,最大為60分鐘。

    • 僅當即時整合目標庫為MaxCompute時,需配置批量寫入周期,即資料寫入MaxCompute資料表的重新整理周期。預設30s。最小為5秒,最大為60分鐘。

    說明

    當即時整合目標庫不為Hive或MaxCompute時,不支援配置此參數。

    全量同步

    開發工作單位調度資源群組生產任務調度資源群組

    專案為Dev-Prod模式時,支援配置開發工作單位調度資源群組生產任務調度資源群組;專案為Basic模式時,僅支援配置調度資源群組。預設選擇為專案預設資源群組(租戶預設資源群組),可單擊查看資源群組詳情,前往管理中心 > 系統設定 > 資源設定 > 資源群組設定中查看資源群組詳情。

    • 開發工作單位調度資源群組:開發工作單位在執行時所消耗的資源,不同資源群組之間資源相互隔離互不影響。任務提交後可在開發環境任務的屬性中修改。

    • 生產任務調度資源群組調度資源群組:任務產生的執行個體調度所消耗的資源,不同資源群組之間資源相互隔離互不影響。任務提交後僅可在生產環境的營運中心修改。

    說明

    僅當即時整合任務的同步方案選擇為即時增量+全量時,支援配置此項。

  6. 單擊確定,完成即時整合任務資源配置。