本文檔介紹AnalyticDB for MySQL中資源群組的建立與管理操作,包括計費規則、資源群組的建立、修改、刪除及監控方法。
使用限制
數倉版叢集需同時滿足以下條件:
模式為彈性模式。
計算資源的規格為32核及以上。
核心版本為3.1.3.2及以上。
說明請在雲原生資料倉儲AnalyticDB MySQL控制台集群資訊頁面的配寘資訊地區,查看和升級核心版本。
計費說明
企業版、基礎版或湖倉版
Interactive型資源群組和Job型資源群組使用的彈性資源,會產生ACU彈性資源費用。
AI資源群組Ray Cluster部署類型:
Worker資源類型為CPU時,AI資源群組使用的彈性資源,會產生ACU彈性資源費用。
Worker資源類型為GPU時,AI資源群組會按照GPU的規格、數量計費。
Worker磁碟空間會按照設定的儲存空間大小計費。
您可以通過如下方法查看資源群組使用的彈性資源量:
企業版和基礎版:在叢集管理>資源管理>資源總覽頁面,可以查看所有資源群組使用的總資源和預留資源。總資源和預留資源的差值為彈性資源用量。
湖倉版:在叢集管理>資源管理>資源總覽頁面,可以查看所有資源群組使用的總計算資源和計算預留資源。總計算資源和計算預留資源的差值為彈性資源用量。
數倉版
資源群組費用與計算資源一致,只收取計算資源的費用。
建立資源群組
企業版、基礎版或湖倉版
每個叢集預設都有一個Interactive型資源群組(user_default),但核心版本3.2.2.8及以上的新購叢集,預設還有一個Job型資源群組(serverless)。在沒有其他資源群組的情況下,所有的XIHE查詢會由user_default資源群組執行;所有的Spark作業(包括Spark Jar和Spark SQL)會由serverless資源群組執行。如果有查詢的資源隔離需求,您需要建立資源群組。
登入雲原生資料倉儲AnalyticDB MySQL控制台,在左上方選擇叢集所在地區。在左側導覽列,單擊集群清單,然後單擊目的地組群ID。
在左側導覽列,單擊集群管理>資源管理,單擊資源組管理頁簽。然後在資源群組列表的右上方,單擊新增資源組。
為資源群組命名,並選擇任務類型。
高QPS低RT的線上情境,請選擇Interactive。
Interactive型資源群組使用常駐的計算資源,以MPP方式執行查詢,回應時間較快,通常在毫秒級。
高吞吐離線情境,請選擇Job。
Job型資源群組會拉起臨時計算資源,並以BSP方式執行查詢,回應時間較慢,通常在秒級或分鐘級。拉起的臨時計算資源量在0 ACU和Job型資源群組最大資源之間,具體資源量大小取決於所啟動並執行任務大小。
異構計算情境,請選擇AI。
AI資源群組支撐GPU和CPU異構計算資源,支援MLSQL模型,Ray託管計算等多種部署類型。
重要資源群組建立成功後,不能修改任務類型。
選擇的任務類型不同,需要設定的屬性也不同。設定屬性後,單擊確定。
Interactive型資源群組屬性
參數名稱
說明
引擎
XIHE引擎:該資源群組僅支援執行XIHE SQL。
Spark引擎:該資源群組僅支援執行Spark SQL作業,且Spark SQL作業會以互動式方式進行處理。
重要資源群組建立成功後,不能修改引擎。
自動停止
當Interactive型資源群組的閑置狀態到達指定時間長度後,即執行完最後一條命令並閑置幾分鐘後,資源群組已啟用的Cluster將自動釋放。
開啟自動停止,可減少資源浪費,節省資源成本。但再次執行查詢時,需要重新拉起資源,會有一定延遲。
重要僅引擎選擇為Spark時支援該參數。
Cluster大小
引擎為XIHE時:單個Cluster的大小,即ACU數,可任意填寫,最小為16 ACU。
引擎為Spark時:單個Cluster的大小即分配給一個Spark應用的ACU數。最小為24 ACU。每個Spark Interactive型資源群組中可以運行多個Spark應用,其中最小Cluster個數和最大Cluster個數表示資源群組中可啟動並執行Spark應用數量。
Cluster大小與Spark Driver、Spark Executor規格映射關係,請參見附錄:Cluster大小與Spark Driver和Spark Executor規格映射關係。
最小Cluster個數
最大Cluster個數
最小Cluster個數:資源群組內至少需要啟動並執行Cluster個數,最小為1。
最大Cluster個數:Cluster個數可以擴容到的最大值,最大為10。
最小Cluster個數和最大Cluster個數不同時,AnalyticDB for MySQL會根據資源群組的查詢負載在最小Cluster個數和最大Cluster個數之間動態地擴縮容Cluster個數。
最小Cluster個數和最大Cluster個數相同時,AnalyticDB for MySQL在資源群組建立成功後就會啟動指定的Cluster個數,有效地靜態控制資源群組的計算資源總量。
說明最小Cluster個數或最大Cluster個數大於等於2時,則表示該資源群組開啟Multi-Cluster功能。Multi-Cluster功能詳情,請參見Multi-Cluster彈性模型。
作業投遞規則
將超過查詢執行時間閾值的查詢投遞到目標資源群組執行。詳情請參見作業投遞。
重要僅引擎選擇為XIHE時支援該參數。
Spark 配置
Spark應用配置參數,應用於該資源群組執行的所有Spark作業。如需為某個Spark作業單獨配置參數,可以在提交作業時通過代碼設定。
Spark配置參數詳情,請參見Spark應用配置參數說明。
重要僅引擎選擇為Spark時支援該參數。
Job型資源群組屬性
參數名稱
說明
計算最小資源
最小取值為0 ACU。
重要資源群組建立成功後,不支援修改計算最小資源。
計算最大資源
控制台可設定的計算最大資源為1024 ACU,步長為8 ACU。若您有需求,可提交工單聯絡支援人員調大資源。
競價實例
是否開啟競價執行個體。
開啟競價執行個體後,運行在Job型資源群組上的Spark作業會嘗試使用競價執行個體資源。更多資訊,請參見競價執行個體。
Spark 配置
Spark應用配置參數,應用於該資源群組執行的所有Spark作業。如需為某個Spark作業單獨配置參數,可以在提交作業時通過代碼設定。
Spark配置參數詳情,請參見Spark應用配置參數說明。
AI資源群組
參數名稱
說明
部署類型
選擇RayCluster。
Head资源规格
Head負責管理Ray中繼資料、運行GCS服務(Global Control Store)、參與Task調度,但不執行Task。
Head資源規格即CPU核心數,可選擇small、m.xlarge、m.2xlarge等規格,各個規格所對應的CPU核心數與Spark資源規格一致,詳情請參見Spark資源規格列表。
重要Head主要負責為作業調度,請參照Ray Cluster的整體規模選擇Head規格。
Worker Group名称
Worker Group的名稱,您可以自訂。一個AI資源群組中可以配置多個不同名的Woker Group。
Worker资源类型
支援CPU和GPU兩種類型。
若您的業務涉及日常計算任務、多任務處理或複雜的邏輯運算建議您選擇CPU。
若您的業務涉及大量資料平行處理、機器學習或深度學習訓練建議您選擇GPU。
Worker资源规格
若Worker资源类型為CPU,Woker資源規格可選擇small、m.xlarge、m.2xlarge等規格,各個規格所對應的CPU核心數與Spark資源規格一致,詳情請參見Spark資源規格列表。
若Worker资源类型為GPU,由於涉及到GPU機型、庫存等問題,請提交工單聯絡支援人員協助選型。
Worker磁盘空间
磁碟空間主要用於儲存Ray日誌、臨時資料以及Ray分布式Object Storage Service的溢出資料。單位:GB,取值範圍是[30,2000]。預設100GB。
重要磁碟僅作為臨時儲存空間,請勿將其用作長期資料存放區。
最小Worker个数
最大Worker个数
最小Worker个数:一個Worker Group中至少需要啟動並執行Woker個數,最小為1。
最大Worker个数:一個Worker Group中最多需要啟動並執行Woker個數,最大為8。
Worker Group支援自動彈性,且每個Worker Group都能獨立彈性。當最小Woker個數和最大Woker個數不同時,AnalyticDB for MySQL會根據任務的Task個數在最小Woker個數和最大Woker個數之間動態地擴縮容Woker個數。若存在多個Worker Group,將會自動進行首選,從而避免單個Worker Group過載或閑置的情況。
分配单元
單個Worker節點上分配多少張GPU。例如配置單位為1/3,則表示每個Worker節點配置1/3張GPU。
重要僅Worker资源类型為GPU時,填寫該參數。
數倉版
登入雲原生資料倉儲AnalyticDB MySQL控制台,在左上方選擇叢集所在地區。在左側導覽列,單擊集群清單,然後單擊目的地組群ID。
在左側導覽列,單擊資源群組管理。
在資源群組管理頁面,單擊資源群組列表右上方的新增資源群組。
填寫資源群組資訊。
參數名稱
說明
資源群組名稱
自訂資源群組的名稱。輸入長度在2-30位,以字母開頭,只能包含字母、數字和底線。
查詢類型
該資源群組常用SQL查詢的類型。詳情請參見查詢執行模式。
Default_Type:預設查詢類型。
Batch:適用於資料量較大的複雜查詢,如清洗類查詢(Extract-Transform-Load)。支援中間資料結果落磁碟,巨量資料量情況下查詢效能有所降低,但計算節點不會因為查詢資料量太大而失敗。
Interactive:適用於延遲要求高的即時分析查詢。基於純記憶體的快速互動式查詢類型,查詢效能好,但計算資料量超出機器處理能力情況下查詢會失敗。
資源量
根據實際情況選擇分配給該資源群組的資源量。
單擊確定完成建立資源群組。
修改資源群組
企業版、基礎版或湖倉版
支援修改的屬性
自訂資源群組(即自己建立的資源群組)支援修改以下屬性:
Interactive型資源群組的自動停止、Cluster大小、最小Cluster個數、最大Cluster個數、作業投遞規則和Spark配置。
Job型資源群組的計算最大資源、競價執行個體和Spark配置。
AI資源群組(Ray Cluster部署類型)Head資源規格、Worker資源類型、Worker資源規格、Worker磁碟空間、最小Worker個數、最大Worker個數。
其他屬性,包括資源群組名稱、任務類型、Interactive型資源群組的引擎、Job型資源群組的計算最小資源,AI資源群組的部署類型、Worker Group名稱均不支援修改。
預設資源群組(即名稱為user_default和serverless的資源群組):
企業版和基礎版的user_default資源群組僅支援修改作業投遞規則,serverless資源群組不支援任何修改。
湖倉版的user_default資源群組支援修改計算預留資源和作業投遞規則,serverless資源群組不支援任何修改。
操作步驟
在資源組管理頁面,單擊目標資源群組操作列中的修改。
在彈出的修改資源組面板中,修改屬性值。然後單擊確定。
當資源群組狀態變為“運行中”時,修改生效。
數倉版
資源群組建立完成後,可以對資源群組的查詢類型或資源量進行修改。
支援修改的屬性
資源群組建立完成後,可以對資源群組的查詢類型或資源量進行修改。
預設資源群組(即名稱為user_default的資源群組)僅支援修改查詢類型,無法手動修改資源量。
說明預設資源群組的資源量=叢集總資源量-叢集中其他資源群組佔用的資源量。
自訂資源群組(即自己建立的資源群組)支援修改查詢類型和資源量。
操作方法
在資源群組管理頁面,單擊目標資源群組操作列中的修改。
根據需求修改查詢類型或資源量。
修改完畢後,單擊確定。
修改AnalyticDB for MySQL資源群組的資源量,可即時生效。
刪除資源群組
不支援刪除預設資源群組(user_default資源群組、serverless資源群組)。
刪除資源群組的影響
如果有正在啟動並執行任務,刪除資源群組將導致資源群組中啟動並執行任務中斷。
如果在XIHE SQL指令碼或Spark作業中指定了某資源群組,請在刪除該資源群組後修改XIHE SQL指令碼或Spark作業中指定的資源群組,否則XIHE SQL作業將由預設資源群組執行,Spark作業將報錯。
操作步驟
在資源組管理頁面,單擊目標資源群組操作列中的删除。在彈窗中單擊確定,即可刪除資源群組。
監控資源用量(企業版、基礎版或湖倉版)
您可以查看叢集層級的資源用量,資源群組層級的資源和負載,以及作業層級的資源消耗。各個監控項指標的詳細說明,請參見資源群組監控。
查詢叢集的預留和彈性資源
企業版和基礎版:在集群管理>資源管理>資源總覽頁面,查看叢集所有資源群組在某個時間點的總資源和預留資源。總資源和預留資源的差值為彈性資源用量。
湖倉版:在集群管理>資源管理>資源總覽頁面,查看叢集所有資源群組在某個時間點的總計算資源和計算預留資源。總計算資源和計算預留資源的差值為彈性資源用量。
查詢單個資源群組的資源和負載
您可以查看單個資源群組實際佔用的計算資源。您也可以根據以下指標瞭解資源群組的負載情況:運行中和排隊中的XIHE SQL數量、Spark引擎個數和串連數。
在集群管理>資源管理>資源組管理頁面,找到目標資源群組,單擊監控,查看單個資源群組實際使用的計算資源。
查詢單個作業消耗的資源
作業使用統計提供了以下作業的資源消耗統計:XIHE BSP作業、Spark作業、AnalyticDB for MySQL控制台的SLS/Kafka資料同步和資料移轉任務。
您可以在集群管理>資源管理>作業使用統計頁面,查看作業消耗的總資源、預留資源、彈性資源、競價執行個體資源。
常見問題
叢集的預留資源為32 ACU。預設資源群組和建立的自訂資源群組同時消耗32 ACU的預留資源嗎?
如果您的叢集為企業版或基礎版,預留資源只能全部分配給預設資源群組user_default。預設資源群組serverless、建立的Job型資源群組和Interactive型資源群組只能消耗彈性資源。
如果您的叢集為湖倉版,預留資源可以分配給預設資源群組user_default,也可以分配給預設資源群組serverless、建立的Job型資源群組或Interactive型資源群組。預設資源群組user_default的計算最小/最大資源,即為分配給預設資源群組user_default的預留資源。叢集計算預留資源與預設資源群組user_default計算最小/最大資源的差值,即為可以分配給預設資源群組serverless、建立的Job型資源群組或Interactive型資源群組的資源。
相關API
如何使用OpenAPI建立、修改、刪除資源群組,為資源群組綁定或解除綁定資料庫帳號: