Realtime Compute for Apache Flink：配置作業資源

您可以根據以下公式進行推算：

• 作業所配置的CU數 = MAX（JM和TM的CPU總和, JM和TM的記憶體總和/4）

• 實際TM數 = 並發度 / 每個TaskManager Slot數

• 實際每個TM上可分配的slot數 = 並發數 / 實際TM數。

例如，當並發度設定為12，每個TM Slot數設定為4。

此樣本中，Job Manager CPU為2 Core，Job Manager Memory為4 GiB，Task Manager CPU為2 Core，Task Manager Memory為4 GiB。

在Flink開發控制台，您會看到實際的TaskManager數為3，每個TaskManager Slot數為4。

實際的TM數和每個TM的Slot數的推算過程如下：

1. 實際TM數 = [設定的並發度/設定的每個TaskManager Slot數] = [12/4] = 3。

2. 實際TM的Slot數=[並發數/實際TM數] = [12/3]= 4。

配置基礎資源

配置Slot資源

1. 在專家模式下，單擊立刻擷取，擷取資源計劃圖。

2. 單擊Slot框上的表徵圖。產生的資源計劃圖中顯示多個SLOT框，每個框內包含VERTEX運算元資訊及PARALLELISM值。

3. 修改Slot配置資訊。對話方塊中可配置CPU、Heap Memory、Off-Heap Memory和並發數參數。

   此處設定的並發數為該Slot共用組內所有運算元的統一併發數。設定完成後，系統將自動進行以下操作：

   • 系統將自動為該Slot共用組內的所有運算元設定相同的並發數。

   • 系統會根據作業的計算邏輯按需自動產生Statebackend、Python和Operator所需的記憶體，無需您手動進行配置。

   說明

   在專家模式下，對話方塊中支援配置的記憶體僅為 Heap Memory 和 Off-Heap Memory。除此之外，JVM Overhead 等其他記憶體組件由系統按預設比例自動分配，並非按需動態申請。若預設比例導致記憶體不足（例如作業出現 Metaspace OOM 或 GC 開銷過高），可在運行參數配置 > 其他配置中手動調整以下參數：

   • taskmanager.memory.jvm-overhead.fraction：JVM Overhead 占 TM 總記憶體的比例，預設值為0.1

   • taskmanager.memory.jvm-overhead.min：JVM Overhead 的最小值

   • taskmanager.memory.jvm-overhead.max：JVM Overhead 的最大值

   說明

   • 建議Source節點並發度和分區數成比例，即並發度數能整除分區數。例如Kafka有16個分區，則並發度建議設定為16、8或4，這樣可以避免資料扭曲。同時Source節點的並發度不宜設定太小，避免一個Source需要讀取太多資料，導致出現入口瓶頸，影響作業吞吐。

   • 建議按需配置除Source外的其他節點的並發度。流量大的節點，並發設定大一些；流量小的節點，並發設定小一些。

   • 建議在有明確異常或者需求時，再調整Heap Memory和Off-heap Memory的大小，例如作業出現OOM或嚴重GC等。因為在作業正常運行時，調整Heap Memory和Off-heap Memory的大小，不會明顯改變作業的輸送量。

4. 單擊確定。

配置運算元資源

預設情況下，所有運算元都放在一個Slot共用組內，因此您無法為每個運算元單獨修改資源配置。如果您需要對單獨的運算元設定資源，需要開啟多SSG模式後讓每個運算元有自己獨立的Slot，這樣就可以直接在對應的Slot上設定運算元的資源。具體的運算元資源設定步驟如下：

1. 在作業部署詳情頁簽資源配置地區，單擊編輯後，資源模式選擇為專家模式。

2. （可選）如果暫無資源計劃，單擊立刻擷取。

   產生的資源計劃圖中，預設所有運算元位於同一個SLOT框內。

3. 開啟多SSG模式開關後，單擊重建。

   此時一個共用組內的運算元被拆分為單個Slot。

4. 單擊目標運算元對應Slot框上的表徵圖後，修改運算元資源。

   修改SLOT對話方塊中可配置CPU、Heap Memory、Off-Heap Memory和並發數參數。

5. 單擊確定。

配置運算元並發、Chain策略和TTL

支援配置單個運算元的並發數、Chaining策略和運算元State到期時間（TTL）。

1. 單擊目標VERTEX框上的展開VERTEX。

   展開後的VERTEX框內顯示各個運算元節點及其PARALLELISM值，每個運算元旁有編輯表徵圖。

   說明

   您可以單擊目標VERTEX上的表徵圖，大量設定對應VERTEX下的運算元並發數。

2. 單擊運算元的表徵圖。

3. 配置運算元資源。

   參數說明如下：

   參數	說明
   並發數	對應運算元的並發數。
   Chaining策略	Chain是指多個運算元被串連在一起形成的邏輯計算鏈。它能夠提高作業的執行效率和效能，減少資料在運算元之間的傳輸和序列化開銷。不過有時可能需要將Chain斷開，以便更好地控製作業的執行流程和效能。支援配置策略如下： ALWAYS（預設值）：運算元始終可以和上下遊運算元Chain一起。 HEAD：當前運算元作為Chain的前端節點，只和上遊運算元斷開Chain，下遊節點仍和當前運算元Chain在一起。 NEVER：當前運算元不會與上下遊運算元進行Chain。
   運算元State到期時間設定（TTL）	支援設定秒、分鐘、小時和天為單位的到期時間。預設為作業的到期時間（未設定到期時間的作業預設為1.5天，作業到期時間配置請參見運行參數配置）。 說明 僅Realtime Compute引擎VVR 8.0.7及以上版本支援。 僅有狀態運算元支援配置到期時間。 State 到期時間為近似清理機制，系統不保證在 TTL 到期後立即清除到期資料。實際清理時間取決於背景狀態訪問和清理策略。

4. 單擊確定。