對於即時任務的即時模式您需定義該任務即時相關的屬性,包括任務資源、時間參數、Checkpoint等。本文為您介紹即時任務即時模式配置的相關內容。
即時模式配置入口
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發。
在頂部功能表列中選擇專案(Dev-Prod模式還需選擇環境)。
在左側功能表列中選擇資料處理 > 計算任務,在右側計算工作清單中,選擇目標計算任務。
在目標計算任務的右側邊欄中單擊配置,在配置面板的即時模式頁簽下進行相關配置。
配置即時模式
在即時模式配置面板,您需根據下表配置即時任務即時模式的資源與依賴關係相關參數。
配置項 | 描述 |
資源配置 |
|
變數配置 | 用於配置Realtime Compute任務的變數參數。配置說明,請參見即時模式變數配置。 |
Checkpoint配置 | 即時任務的Checkpoint可以將任務的狀態儲存到持久化儲存中,可有效協助當前任務運行意外崩潰後,重新運行程式時恢複到崩潰前的狀態。配置說明,即時模式Checkpoint配置。 |
State配置 | State是Flink即時任務維持和管理資料狀態的機制。通過合理的配置Flink的State資料到期時間可以提高資源使用率、記憶體管理、資料一致性和容錯性。配置說明,請參見即時模式State配置。 |
運行參數 | 在開發即時任務時,通常需要配置任務的運行參數,以控制任務的執行行為和效能。例如,JobManager 進程的記憶體大小、TaskManager中slot的逾時時間等。 |
依賴檔案 | 若您的即時任務運行需要依賴外部資源檔,例如文字檔、Python檔案、Jar檔案等,您可以在Dataphin上傳對應資源檔後,將所上傳的資源檔添加到任務的依賴檔案,使任務能夠正常運行。配置說明,請參見即時模式依賴檔案配置。 |
依賴關係 | 配置即時任務的依賴關係,可協助您排查調試時快速瞭解資料的上下遊任務。配置說明,請參見即時模式依賴關係配置。 |