MaxCompute查詢加速 MaxQA - MaxCompute

本文為您介紹MaxCompute查詢加速 MaxQA引擎（MaxCompute Query Accelerator 2.0）功能，並協助您瞭解該功能的系統架構、應用情境、使用限制和使用方法。

版本說明

MaxQA功能目前處於公測階段，如需參與公測，請提交工單申請開啟。同時，請加入MaxQA官方使用者支援群（DingTalk群號：87535025714），MaxCompute技術團隊將協助您解答相關問題。更多公測及具體功能介紹，請參見查詢加速MaxQA操作指南。

功能介紹

隨著即時、近即時資料分析需求的持續增長，查詢回應時間在現代資料分析和業務應用中變得越來越重要。MaxQA（MaxCompute Query Accelerator 2.0，原MCQA2.0）是阿里雲MaxCompute為更好地服務這些需求而推出的查詢加速解決方案。在獨享的查詢加速資源集區的基礎上，對管控鏈路、查詢最佳化工具、執行引擎、儲存引擎以及緩衝機制等多個環節進行了全面最佳化，顯著減少了查詢回應時間。特別適用於BI情境、互動式分析以及近即時數倉等對延遲要求高且穩定的情境。

MaxCompute MaxQA（原MCQA2.0）功能提供如下能力：

支援對中小資料量（數 TB規模內）查詢作業、資料插入作業進行加速最佳化，最快執行時間為亞秒級。
完全相容MaxCompute的SQL功能，包括UDF、Delta Table、Delta Live MV增量物化視圖特性等。
支援隔離的查詢加速資源集區，獨享服務於本租戶，穩定性更高。
支援自訂查詢加速資源集區和批處理資源集區的分時資源分派規則，支援互動式Quota組和批處理Quota組的分時自動調整，提高資源整體利用率。
支援全鏈路Cache，作業會自動將多個環節的執行結果寫入臨時緩衝，後續執行的作業在全鏈路的多個環節都可能命中Cache，加快執行速度。
多款BI工具支援（FineBI、Tableau、QuickBI）。

產品架構

MaxQA的核心技術優勢是通過智能化動態隔離的資源集區、全鏈路緩衝Cache機制、本地化IO、面向延遲最佳化的執行計畫（QueryPlan）以及更高效的執行引擎來提高查詢效率。

智能化動態隔離的資源集區：每個MaxQA執行個體是完全隔離的計算環境，一個租戶可以建立多個執行個體（對應多個互動式Quota組），避免了多租戶環境中常見的幹擾問題，確保查詢延遲穩定。
全鏈路緩衝機制：作業掃描過的表及中繼資料、產生的執行計畫、執行過程中多個環節的中間結果及查詢結果都會自動緩衝，後續執行的作業在全鏈路的多個環節都可能命中Cache，加快執行速度。由於是執行個體層級隔離的計算環境，緩衝具有更長的有效期間，不會被其他執行個體的作業影響。
本地化IO：最大限度地將源表讀取在執行過程中的 Shuffle、Spill 等操作的IO資料都保留在本機存放區裝置上，以減少對外部系統的依賴，提高延遲穩定性。
面向延遲最佳化的執行計畫：從物理執行計畫選擇、並發度計算、壓縮演算法選擇等多個維度均以延遲優先。
簡化管控鏈路：前端直接連接協調器，控制鏈路架構最佳化以及非同步化改造，提升互動效率。

MaxQA技術架構圖如下所示。

應用情境

MaxQA功能的應用情境涵蓋了從日常營運報告到進階資料分析的各種需求，特別適合對查詢回應時間和穩定性有較高要求的業務情境。無論是短期決策支援還是長期戰略規劃，MaxQA都能為企業提供強有力的技術支撐，提升資料驅動的價值創造能力。

情境	說明	情境特點	樣本
即席查詢（Ad Hoc）	使用者可以根據實際需求靈活選取查詢條件，快速擷取查詢結果並調整查詢邏輯。適用於資料開發或資料分析人員，他們希望使用熟悉的用戶端工具開展查詢分析。	• 查詢時延要求在幾秒或幾十秒內。 • 使用者通常為掌握SQL技能的資料開發或資料分析師。 • 靈活選取查詢條件，快速響應業務需求變化。	• 資料科學家進行探索性資料分析。 • 資料工程師調試ETL流程中的臨時查詢。
商業智慧（BI）	利用MaxCompute搭建企業級資料倉儲，通過ETL將資料加工處理為面向業務可消費的彙總資料。藉助MaxQA的低延時、資源隔離、彈性並發、資料緩衝等特性，滿足多並發、快速響應的報告產生、統計分析及固定報表分析需求。	• 查詢的資料對象通常為彙總後的結果資料。 • 適用於資料量較小、多維查詢、固定查詢、高頻查詢情境。 • 查詢延時要求高，秒級返回（例如大部分查詢不超過5秒）。	• 產生每日銷售報告。 • 即時監控關鍵業務指標。 • 定期產生財務報表。
互動式資料分析	自助 BI 工具和互動式資料探索平台使得非技術人員也能輕鬆進行複雜的資料分析。這類工具通常通過一系列短查詢來實現動態篩選、排序、彙總等功能，提供靈活且直觀的操作體驗。	• 支援拖拽式操作，無需編寫複雜的 SQL 陳述式。 • 快速反饋查詢結果，協助使用者迭代分析過程。 • 適用於各種層次的資料分析師，從初學者到專家。	• 使用Tableau或Fine BI進行可視化分析。 • 線上資料分析平台上的資料探索。
海量資料明細查詢分析	MaxQA 可以自動識別查詢作業特徵，既能快速響應處理小規模作業，同時還可以自動匹配大規模作業資源需求，滿足分析人員分析不同規模和複雜度的查詢作業的需求。	• 需要探索的歷史資料量大，但真正需要的有效資料量不大。 • 查詢延時要求適中，介於即時性和批量處理之間。 • 使用者通常為業務分析人員，他們需要從詳細資料中探尋業務規律，發現業務機會，驗證業務假設。	• 使用者行為路徑分析。 • 客戶細分與畫像構建。 • 產品使用模式挖掘。

使用限制

僅支援在MaxQA中執行DDL/DML/DQL語句（如許可權動作陳述式、Tunnel相關語句、上傳/下載資源等）。
在MaxQA中支援運行使用者定義函數（UDF），但這將涉及在現場啟動UDF的安全隔離環境。為了防止效能出現劇烈波動，一個MaxQA執行個體中最多僅限於使用50%的資源來運行UDF。
對於DQL語句，預設最多返回100萬行資料，可通過將odps.sql.select.auto.limit參數設定為更大的值來突破此限制（建議根據業務實際需求謹慎設定，過大的傳回值可能影響執行效率）。
暫不支援執行計畫中要求Worker常駐的作業，如Distributed MapJoin。

說明

如果因使用限制導致MaxQA作業失敗，需要您手動重試或嘗試將作業提交到批處理配額組中。

不同CU規格對應的系統參數說明

CU數	最大並行作業數	作業逾時時間（min）	單作業並發度上限
32CU	32	120min	CU 數 * 30
64CU	48	120min	CU 數 * 30
96CU	64	120min	CU 數 * 30
128CU	80	120min	CU 數 * 30
160CU	96	120min	CU 數 * 30
192CU	112	120min	CU 數 * 30
224CU	128	120min	CU 數 * 30
[256, 1024)CU	144	120min	CU 數 * 30
[1024, 1536)CU	288	120min	CU 數 * 30
[1536, 2048)CU	432	180min	CU 數 * 30
[2048, 2560)CU	576	240min	CU 數 * 30
[2560, 3072)CU	720	300min	CU 數 * 30
[3072, 3584)CU	864	360min	CU 數 * 30
[3584, 4096)CU	1008	420min	CU 數 * 30
[4096, 4608)CU	1152	480min	CU 數 * 30
[4608, 5120)CU	1296	540min	CU 數 * 30
[5120, 5632)CU	1440	600min	CU 數 * 30
[5632, 6144)CU	1584	660min	CU 數 * 30

TPC-DS效能測試結果

說明

不同地區的結果略有區別，以實際測試為準。

規格	10GB	100GB	1TB
64CU	468s	672s	1978s
128CU	319s	418s	1001s

以上效能測試報告是基於華北2（北京）地區的測試環境獲得。

詳細測試方案與內容請參見TPC-DS效能測試。

和MCQA（原查詢加速）的能力對比最佳化

對比項	MCQA	MaxQA（MCQA2.0）
架構	基於Serverless資源集區。	單租隔離計算環境。
延遲穩定性	一般。	好。
計算效能	比離線模式明顯好，但穩定性不夠。	彙集了多項最佳化，效能更優。
支援的作業類型	僅支援DQL。	全類型的SQL能力，包括 DDL、DQL、DML。
使用方式	開啟互動式模式。	提交作業時指定互動式Quota組的名稱，詳情請參見MaxQA功能接入方式。
Quota 路由	支援。	暫不支援。
後付費模式	支援。	暫不支援。
Session概念	有，同一用戶端相鄰時段提升的作業可能歸屬一個Session，每個Session對應一個Instance ID。	無，每個SQL作業都對應一個Instance ID。
回退機制	有自動回退批處理模式的能力。	不支援自動回退。

使用方法

MaxQA的具體使用方法請參見查詢加速MaxQA操作指南。