建立託管Auto Scaling策略 - E-MapReduce

託管Auto Scaling功能是通過配置Task節點的最大值和最小值，使E-MapReduce（簡稱EMR）能夠自動根據您的業務負載動態調整Task節點數量，並根據歷史作業執行情況來最佳化資源分派。這樣既保證了任務的順利完成，又有效控制了成本。本文為您介紹如何建立託管Auto Scaling策略。

前提條件

已建立資料湖（DataLake）、即時資料流（DataFlow）、資料分析（OLAP）、資料服務（DataServing）或自訂情境（Custom）的叢集，詳情請參見建立叢集。
已在叢集中建立了隨用隨付或者搶佔式執行個體的Task節點群組，詳情請參見新增節點群組。

使用限制

為避免由於ECS庫存不足造成的Auto Scaling失敗，您可以在新增節點群組時配置多種執行個體規格，最多可以選擇10種ECS執行個體規格作為備選，系統將按照您選擇的順序購買執行個體。每個節點建立時，會從第一個規格開始嘗試，如果該規格庫存不足，則依次嘗試下一個規格，直到建立成功。最終購買的執行個體規格可能隨庫存變化而不同。
僅部署了YARN服務的叢集，支援配置託管Auto Scaling規則。
若叢集中存在Trino、Presto、StarRocks、Impala或Clickhouse服務，則託管的Auto Scaling效果將無法得到保障。

注意事項

當您切換Auto Scaling模式時，原有Auto Scaling規則將會失效，請謹慎操作。

操作步驟

方式一：為已有叢集建立託管伸縮規則

託管Auto Scaling功能開啟後，系統將持續監控叢集YARN的負載，並計算過去時間內的負載峰值變化情況，以便自動調整Task節點的數量。

進入Auto Scaling頁面。
1. 登入EMR on ECS。
2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
3. 單擊目的地組群的叢集名稱。
4. 單擊上方的Auto Scaling。
在Auto Scaling配置頁簽的配置Auto Scaling規則地區，單擊託管Auto Scaling規則。
配置伸縮規則。
1. 在彈出的對話方塊中，單擊重新設定，配置相關參數。
  - 最小Task節點數：託管縮容策略觸發時，叢集最少保留Auto Scaling的Task節點數。
  - 最大Task節點數：託管擴容策略觸發時，叢集最多保留Auto Scaling的Task節點數。
  - 最大按量Task節點數：擴容觸發後最大擴容的隨用隨付節點數量，用於設定隨用隨付節點和競價執行個體的佔比，預設為最大Task節點數。
    說明
    如果叢集中存在搶佔式執行個體的Task節點群組，則最大按量Task節點數可以小於最大Task節點數。例如，當最小Task節點數設為0，最大Task節點數設為20，而最大按量Task節點數設為15時，在擴容過程中，系統會首先嘗試增加15個隨用隨付的節點，之後如果有進一步的需求，則使用搶佔式執行個體來補充剩餘所需的節點數量。
2. 配置完後，單擊儲存並應用。

方式二：建立叢集時建立託管伸縮規則

登入EMR on ECS。
在頂部功能表列處，根據實際情況選擇地區和資源群組。
單擊建立叢集，參數詳情請參見建立叢集。
說明
您必須在叢集下增加隨用隨付或搶佔式執行個體的Task節點群組，才可以配置相應的規則。
配置叢集伸縮。
1. 選擇託管Auto Scaling規則。
2. 單擊託管Auto Scaling規則右側的編輯，配置相關參數，單擊儲存並應用。
  - 最小Task節點數：託管縮容策略觸發時，叢集最少保留Auto Scaling的Task節點數。
  - 最大Task節點數：託管擴容策略觸發時，叢集最多保留Auto Scaling的Task節點數。
  - 最大按量Task節點數：擴容觸發後最大擴容的隨用隨付節點數量，用於設定隨用隨付節點和競價執行個體的佔比，預設為最大Task節點數。
    說明
    如果叢集中存在搶佔式執行個體的Task節點群組，則最大按量Task節點數可以小於最大Task節點數。例如，當最小Task節點數設為0，最大Task節點數設為20，而最大按量Task節點數設為15時，在擴容過程中，系統會首先嘗試增加15個隨用隨付的節點，之後如果有進一步的需求，則使用搶佔式執行個體來補充剩餘所需的節點數量。
確認訂單，建立叢集。