全部產品
Search
文件中心

Realtime Compute for Apache Flink:配置作業部署資訊

更新時間:Nov 18, 2025

在作業啟動前,您需要配置作業部署資訊。本文為您介紹如何配置作業部署資訊。

前提條件

  • 其他阿里雲帳號或RAM使用者等訪問專案空間,並進行作業資源配置等操作時,則需要為其進行授權,詳情請參見開發控制台授權

  • 已完成作業部署,詳情請參見部署作業

操作步驟

  1. 登入Realtime Compute控制台

  2. 單擊目標工作空間操作列下的控制台

  3. 營運中心 > 作業營運頁面,單擊目標作業名稱。

  4. 部署詳情頁簽,單擊目的地區域右側的編輯

    說明

    因為SQL作業基礎配置需要返回到資料開發 > ETL頁面,才能編輯作業草稿並重新部署。所以在單擊基礎配置地區右側的編輯後,您還需要在彈出的對話方塊中,單擊確定

  5. 修改作業部署資訊。

    您可以修改以下幾個方面的部署資訊:

  6. 單擊儲存

基礎配置

作業類型

說明

SQL作業

包括SQL代碼、引擎版本附加依賴檔案備忘作業標籤資訊。參數含義詳情請參見作業開發地圖

說明

單擊基礎配置右側的編輯後,需要返回到SQL開發頁面編輯作業草稿並重啟部署。如果您需要繼續進行編輯,請單擊確定

JAR作業

包括引擎版本JAR UriEntry Point ClassEntry Point Main Arguments附加依賴檔案備忘Kerberos叢集作業標籤。參數含義詳情請參見部署作業

Python作業

包括引擎版本Python UriEntry ModuleEntry Point Main ArgumentsPython LibrariesPython Archives附加依賴檔案備忘Kerberos叢集作業標籤。參數含義詳情請參見部署作業

運行參數配置

參數

說明

系統檢查點間隔

定時執行系統檢查點的時間間隔。如果不填寫,將會關閉系統檢查點。

系統檢查點逾時時間

預設值為10分鐘,到達預設值後系統檢查點將產生失敗。

兩次系統檢查點間最短間隔

兩次系統檢查點之間的最短時間間隔,如果系統檢查點最大並行度是1,則該配置確保兩個系統檢查點之間有一個最短時間間隔。

State資料到期時間

即TTL(Time-to-Live),狀態資訊的存活時間,單位為小時,預設值為36小時,即作業狀態資訊將在36小時後自動到期並清除。

重要

此處預設值根據云上最佳實務的經驗值設定,與開源的預設值不同(開源預設值為0,表示狀態資訊永不到期)。

當資料首次進入系統並被處理後,它會儲存在狀態記憶體中。當下一次相同主鍵的資料到來時,系統會使用之前儲存的狀態資料進行計算,並更新其訪問時間。這一過程是Realtime Compute的核心,因為它依賴於資料的持續流動。如果資料在設定的TTL時間視窗內未被再次訪問,它將被系統視為到期,並從狀態儲存中清除。

通過合理設定TTL的值,不僅可以維持計算的精確性,還能及時清理陳舊資料,有效減少狀態記憶體的佔用,進而降低系統記憶體負擔,提升計算效率和系統穩定性。

Flink重啟策略

Flink 作業的重啟行為由兩部分決定:作業級重啟策略和任務級故障恢複策略。

作業級重啟策略

Flink 只在未配置作業重啟策略時,才根據系統檢查點是否開啟決定是否重啟作業。

  • 如果開啟了檢查點,Flink 按 Fixed Delay 策略重啟作業。

  • 如果未開啟檢查點,Flink 不重啟作業。

顯式配置作業重啟策略

  • No Restarts:作業失敗後不重啟。

  • Fixed Delay(預設):作業失敗後,按固定時間間隔嘗試重啟。你需要設定最大重啟次數和每次間隔。

  • Failure Rate:按失敗率重啟。你需要設定:失敗率檢查視窗、視窗內最大失敗次數、每次重啟間隔。

任務級故障恢複策略

該策略控制任務失敗後需要如何重啟任務。通過 jobmanager.execution.failover-strategy配置。選項如下:

  • full:重啟整個作業。任一任務失敗,所有任務都重啟。

  • region(預設):只重啟必要的最小任務集合。這些工作群組成一個 Pipelined Region。

更多詳情請參見Restart Strategies

說明

作業包含兩條source-sink鏈路,彼此無資料連線。其中一個task失敗,使用 region 故障恢複策略,Flink 只重啟失敗 task 所在的鏈路,另一條鏈路繼續運行,不受影響。這會導致兩條鏈路的start time不一致的情況,屬於正常現象。

其他配置

在此設定其他Flink配置。例如akka.ask.timeout: 10jobmanager.execution.failover-strategy: full

日誌配置

參數

說明

日誌歸檔

預設已開啟日誌歸檔功能。開啟日誌歸檔後,您可以在作業日誌頁面查看歷史工作執行個體的日誌,詳情請參見查看歷史工作執行個體日誌

說明
  • 在VVR 3.x版本,僅VVR 3.0.7及以上版本支援開啟日誌歸檔功能。

  • 在VVR 4.x版本,僅VVR 4.0.11及以上版本支援開啟日誌歸檔功能。

歸檔日誌有效期間

歸檔日誌有效期間預設為7天。

根記錄層級

記錄層級從低到高順序如下:

  1. TRACE:比DEBUG更細粒度的資訊。

  2. DEBUG:系統運行狀態的資訊。

  3. INFO:重要或者您感興趣的資訊。

  4. WARN:系統可能出現潛在錯誤的資訊。

  5. ERROR:系統出現錯誤和異常的資訊。

類日誌等級

填寫日誌名稱和記錄層級。

日誌模板

可以選擇為default系統模板或自訂模板。選擇自訂模板時支援將日誌輸出到其他儲存,詳情請參見配置作業日誌輸出

相關文檔