全部產品
Search
文件中心

Dataphin:離線模式配置概述

更新時間:Jan 25, 2025

對於流批一體任務的離線模式您需定義該任務即時相關的屬性,包括任務資源、時間參數Checkpoint等。本文為您介紹流批一體任務即時模式配置的相關內容。

離線模式配置入口

  1. 在Dataphin首頁,單擊頂部功能表列的研發

  2. 按照下圖操作指引,進入流批一體任務離線模式配置面板。

    image.png

配置離線模式

在離線模式配置面板,您需根據下表配置流批一體任務離線模式的資源與依賴關係相關參數。

配置項

描述

調度配置

調度配置用於定義節點在生產環境的周期調度方式。您可以通過配置屬性中調度屬性,配置任務調度周期與生效日期等。配置說明,請參見離線模式調度配置

資源配置

  • 開源FlinkRealtime Compute源

    對於開源Flink建立的流批一體任務,任務的離線模式資源配置支援配置任務的生產環境和開發的資源隊列、引擎版本以及任務的並行度、Task Manager數量、Job Manager Momory和Task Manager Momory。配置說明,請參見配置開源Flink離線模式資源

  • Ververica FlinkRealtime Compute源

    對於Ververica Flink建立的流批一體任務,任務的離線模式資源配置支援配置任務的生產環境和開發的資源叢集、引擎版本以及任務的並行度、Task Manager數量、Job Manager Momory和Task Manager Momory。配置說明,請參見配置Ververica Flink離線模式資源

  • Alibaba BlinkRealtime Compute源

    對於Alibaba Blink建立的流批一體任務,任務的離線模式資源配置支援配置任務的資源隊列和引擎版本。配置說明,請參見配置Alibaba Blink離線模式資源

變數配置

用於配置Realtime Compute任務的變數參數。配置說明,請參見離線模式變數配置

運行參數

在開發流批一體任務時,通常需要配置任務離線模式的運行參數,以控制任務的執行行為和效能。例如,JobManager在記憶體中儲存執行嘗試記錄的大小、TaskManager中slot的逾時時間等。配置說明,請參見離線模式運行參數配置

依賴檔案

若您的流批一體任務的離線模式運行需要依賴外部資源檔,例如文字檔、Python檔案、Jar檔案等,您可以在Dataphin上傳對應資源檔後,將所上傳的資源檔添加到任務的依賴檔案,使任務能夠正常運行。配置說明,請參見離線模式依賴檔案配置

依賴關係

流批一體任務的離線模式通過各個節點的調度依賴配置結果,有序的運行商務程序中各個節點,保障業務資料有效、適時地產出。配置說明,請參見離線模式依賴檔案配置