AnalyticDB for MySQL支持將計算資源在物理上劃分為多個資源群組。每個資源群組擁有獨立的CPU、記憶體、查詢隊列、任務類型和配置參數。不同資源群組的計算資源完全隔離,不僅可以保障核心業務不受複雜計算和突髮狀況影響,還能合理分配資源使叢集效能達到最大化,滿足叢集內部多租戶和混合負載的需求。本文介紹資源群組的類型和應用情境。
資源群組的作用
企業版、基礎版及湖倉版
資源隔離:不同使用者或應用的查詢可能對資源的需求不同。通過資源隔離,可以確保對延遲敏感的互動式任務不受執行耗時間長度、資源消耗大的批處理任務的影響。詳情請參見如何使用指定資源群組的資源執行查詢。
優先順序調度:每個資源群組擁有獨立的查詢優先順序隊列,允許您控制哪些查詢優先執行。詳情請參見Interactive型資源群組的優先順序隊列與並發和Job型資源群組的優先順序隊列。
離線批處理需求:預設的Interactive資源群組適用於互動式線上分析。如果您有離線批處理的需求,希望離線批處理不影響線上分析的響應速度,可以建立Job型資源群組專門用於離線批處理。詳情請參見建立和管理資源群組。
資源彈性:如果業務具有規律的波峰波穀時,您可以配置彈性計劃,定時自動增加或減少資源群組的資源。詳情請參見資源彈性擴縮容。
您也可以設定最大和最小的可用資源。資源群組的資源量,將根據業務負載,在您設定的範圍內自動彈性擴縮容。詳情請參見Interactive資源群組Multi-Cluster彈性模型和配置Job型資源群組的計算最大資源和最小資源。
工作負載管理:基於資源群組,控制工作負載。例如,當查詢執行耗時超過閾值時,將該查詢投遞到其他資源群組重新執行,避免阻塞該資源群組的其他查詢。詳情請參見工作負載管理。
數倉版
資源隔離:不同使用者或應用的查詢可能對資源的需求不同。通過資源隔離,可以確保對延遲敏感的互動式任務不受執行耗時間長度、資源消耗大的批處理任務的影響。詳情請參見投遞查詢到資源群組。
優先順序調度:每個Interactive資源群組擁有獨立的查詢優先順序隊列,允許您控制哪些查詢優先執行。詳情請參見Interactive型資源群組的優先順序隊列與並發。
不同的查詢執行模式:在資源群組層級,大量設定查詢的執行模式。詳情請參見資源群組的查詢執行模式。
資源彈性:當業務具有規律的波峰波穀時,您可以配置彈性計劃,定時自動增加或減少資源群組的資源。詳情請參見資源彈性擴縮容。
工作負載管理:基於資源群組,控制工作負載。例如,當查詢執行耗時超過閾值時,將該查詢投遞到其他資源群組重新執行,避免阻塞該資源群組的其他查詢。詳情請參見工作負載管理。
資源群組分類
根據建立方式的不同,AnalyticDB for MySQL資源群組分為預設資源群組(系統預設建立)和自訂資源群組(使用者手動建立)兩種。
企業版、基礎版及湖倉版
預設資源群組
定義
叢集建立時便存在,即user_default和serverless。
屬性
企業版和基礎版:
預設資源群組的計算資源等於叢集的預留資源數(節點數*單節點規格)。
預設資源群組的彈性變更配置方式為分時彈性變更配置。
預設資源群組不支援修改和刪除。
預設資源群組的任務類型不支援修改:
user_default:Interactive類型。serverless:Job類型。
預設資源群組不支援綁定資料庫帳號。
湖倉版:
預設資源群組的計算預留資源最小為0 ACU,計算預留資源最大為叢集當前未分配資源,步長為16 ACU。
預設資源群組支援修改計算預留資源。
預設資源群組不支援修改和刪除。
預設資源群組的任務類型不支援修改:
user_default:Interactive類型。serverless:Job類型。
預設資源群組不支援綁定資料庫帳號。
自訂資源群組
定義
自訂建立的資源群組可以為Interactive型和Job型。建立方式請參見建立和管理資源群組或CreateDBResourceGroup - 建立資源群組。
屬性
自訂資源群組支援修改資源量。詳情請參見建立和管理資源群組。
Interactive型資源群組:均為Multi-Cluster彈性資源群組,可根據設定的最小和最大cluster個數動態調整資源量。當最小和最大cluster個數相等時,則為固定資源大小,不具備彈效能力。
Job型資源群組:計算最小資源為0 ACU,控制台可設定的計算最大資源為1024 ACU,步長為8 ACU。若您有需求,可提交工單聯絡支援人員調大資源。
自訂資源群組支援刪除。
自訂資源群組不支援修改任務類型。
自訂資源群組支援綁定和解除綁定資料庫帳號。詳情請參見綁定或解除綁定資料庫帳號。
Job型資源群組支援配置ThriftServer。詳情請參見啟停ThriftServer。
數倉版
預設資源群組
定義
叢集建立時便存在,即USER_DEFAULT。
屬性
自訂資源群組
定義
您自訂建立的資源群組,支援建立查詢類型為Default_Type、Batch和Interactive的資源群組。建立方式請參見建立資源群組或CreateDBResourceGroup - 建立資源群組。
屬性
資源量為獨享的,計算資源的最小步長為16核64 GB,即一個計算節點資源。計算資源最小可以設定為0核0 GB,最大不能超過叢集的總計算資源量。
支援刪除自訂資源群組。
支援修改自訂資源群組的資源量。
支援綁定和解除綁定資料庫帳號。詳情請參見綁定或解除綁定資料庫帳號。
功能概覽
企業版、基礎版及湖倉版
資源群組根據啟動並執行任務類型不同,分為Interactive型資源群組、Job型資源群組和AI資源群組。區別如下:
Interactive型資源群組:
工作原理:使用者提交查詢到前端節點後,Interactive型資源群組的常駐計算資源會以XIHE MPP或Spark SQL Multi-Cluster方式執行查詢,回應時間較快,通常在毫秒級或者秒級。XIHE MPP的詳細資料,請參見XIHE MPP引擎;Spark SQL Multi-Cluster的詳細資料,請參見Multi-Cluster彈性模型。
適用情境:高QPS低RT的線上情境或者互動式分析情境。
執行的任務:XIHE MPP SQL和Spark SQL。
彈性擴縮容:根據彈性計劃定時擴縮容,或在Cluster的數量範圍內根據負載自動擴縮容。
Job型資源群組:
工作原理:使用者提交查詢到前端節點後,前端節點會拉起臨時計算資源,並以XIHE BSP方式執行查詢,回應時間較慢,通常在秒級或分鐘級。拉起的臨時計算資源量在0 ACU和Job型資源群組最大資源之間,具體資源量大小取決於所啟動並執行任務大小。XIHE BSP的詳細資料,請參見XIHE BSP引擎。
適用情境:高吞吐離線情境。
執行的任務:XIHE BSP SQL、Spark SQL和Spark應用。
彈性擴縮容:以按需彈性方式擴容和縮容計算資源。
AI型資源群組:
工作原理:AI資源群組基於Ray Cluster部署,Head節點負責中繼資料管理、GCS服務和任務調度,但不執行任務;Worker Group支援CPU和GPU兩種資源類型,能夠根據任務需求動態分配計算資源。
適用情境:異構計算情境。
執行的任務:MLSQL模型運行和Ray託管計算。
彈性擴縮容:Worker Group支援自動彈性,且每個Worker Group都能獨立彈性擴縮容。多個Worker Group時,系統會自動進行首選以避免過載或閑置。
數倉版
資源群組根據啟動並執行任務類型不同,分為Interactive型資源群組、Batch型資源群組。區別如下:
Interactive型資源群組:
工作原理:使用者提交查詢後,常駐計算資源以XIHE MPP方式執行查詢,回應時間較快,通常在毫秒級或者秒級。XIHE MPP的詳細資料,請參見XIHE MPP引擎。
適用情境:適用於對延遲敏感的即時分析查詢。
執行的任務:XIHE MPP。
彈性擴縮容:根據彈性計劃定時擴縮容,或在Cluster數量範圍內根據負載自動擴縮容。
Batch型資源群組:
工作原理:使用者提交查詢後,常駐計算資源以XIHE BSP方式執行共用查詢,回應時間為秒級或分鐘級。
適用情境:適用於執行時間長、計算資料量大的查詢。例如:清洗類查詢(Extract-Transform-Load)。
執行的任務:支援XIHE BSP。
彈性擴縮容:以按需彈性方式擴容和縮容計算資源。