阿里雲MaxCompute是什麼 - MaxCompute

雲原生MaxCompute（原名ODPS）是阿里雲自主研發的集高性價比、多模計算、企業級安全和AI驅動於一體的企業級SaaS化智能雲資料倉儲（AI-Native Datawarehouse）。

產品簡介

MaxCompute是面向分析的企業級SaaS模式智能化雲資料倉儲，以Serverless架構提供全託管、開箱即用的線上資料倉儲服務，消除了傳統資料平台在資源擴充性和彈性方面的限制。

計算儲存的智能最佳化能力、開放的湖倉一體架構、近即時和互動式查詢加速能力以及Data+AI一體化建設，使使用者最小化營運投入、經濟並高效地分析處理海量資料。

數以萬計的企業正基於MaxCompute進行資料計算與分析，將資料高效轉換為業務洞察。

產品架構

MaxCompute的架構主要由儲存層、計算層和統一的營運管控平台構成，共同構建在多可用性區域部署的穩固基礎設施之上。

儲存層通過其儲存引擎，整合了由標準、低頻、長期等儲存類型構成的原生儲存體系，並支援開放的湖倉一體（OpenLake）架構。
計算層通過多種引擎支援離線、近即時、Data+AI等多種計算任務。
營運管控層作為平台的管理與控制核心，提供從專案、配額到優先順序的資源治理，從資源觀測、監控警示到作業診斷的全方位監控，以及完整的安全審計能力。
整個平台通過標準的開發接入介面（如SDK/API/JDBC）與上層的DataWorks、PAI等產品整合。

產品優勢

高性價比的企業級數倉
- 簡單易用：多服務預整合、標準SQL開發簡單，開箱即用。
- 彈性擴充：Serverless架構存算分離，無需提前規劃，靈活彈性，隨用隨付，可以滿足業務突增需求，支援即時根據業務峰穀變化分配資源。
- 安全穩定：內建完善的存取控制、安全和災備能力，提供資源觀測和作業診斷能力。
- 高性價比：提供智能分析方案，持續最佳化效能和成本。
多情境增全量一體計算最佳化
- 支援流式寫入和近即時增量計算：MaxCompute 增量計算將計算與儲存解耦，在統一的 SQL 引擎上提供增全量一體、流批統一的近即時資料處理能力。通過增量物化視圖（Delta Live MV）自動感知上遊資料變化並持續重新整理，簡化增量計算 pipeline 的構建；同時相容資料庫整庫即時同步、Flink 流式寫入與更新等多種資料接入方式。
- MaxQA查詢加速升級，28億行資料查詢最快可1秒返回。
湖倉一體的開放架構
- MaxCompute湖倉一體支援OpenLake解決方案，實現同一份OpenLakehouse資料多引擎互訪。
- 支援聯邦查詢分析，相容多種主流開來源資料格式。
- 支援通過Storage API和Connector將MaxCompute資料向第三方開源引擎開放，簡化計算引擎整合過程。例如Spark概述與MaxCompute計算資源、資料和許可權體系深度整合。
Data+AI
- 分散式運算架構MaxFrame，提供Python編程介面，相容Pandas運算元並支援與人工智慧PAI無縫整合。
- MaxFrame內建第三方依賴包及通用模型，使用者自訂鏡像管理，通過雲原生巨量資料預先處理能力，為大模型等AI深度學習情境提供資料AI整合能力。
適用情境廣泛
MaxCompute提供了面向多種計算情境的資料倉儲解決方案及分析建模服務，以統一平台滿足資料倉儲、BI、近即時分析、資料湖分析、機器學習等多種情境，已在阿里巴巴集團內部得到大規模應用。
產品生態豐富：
MaxCompute深度融合阿里雲DataWorks、即時數倉Hologres、人工智慧平台PAI、Quick BI等產品，滿足資料分析情境下的不同需求。
- 基於DataWorks實現一站式的資料同步、商務程序設計、資料開發、管理和營運功能。
- 基於Machine Learning Platform for AI的演算法組件實現對MaxCompute資料進行模型訓練等操作。
- 基於Hologres對MaxCompute資料進行外表查詢加速，也可匯出到Hologres互動式分析。
- 基於Quick BI將MaxCompute資料製作成報表，實現資料視覺效果分析。

核心功能

MaxCompute提供的核心功能如下：

功能分類	功能描述
數倉基礎能力	按需彈性阿里雲MaxCompute提供開箱即用的全管理的資料倉庫服務，採用Serverless架構，存算分離，儲存和計算資源均可獨立擴充、動態擴縮容。無需提前規劃容量和預留資源，可從容應對業務突增等變化。 SQL開發 MaxCompute預整合多種服務，使用者可使用標準SQL直接進行開發，簡單易上手。
多情境計算能力	AI計算架構分散式運算架構MaxFrame概述支援Python編程介面、相容Pandas介面且自動分散式運算，適用於大規模資料處理、科學計算、機器學習、AI 開發等情境。 MaxCompute支援與人工智慧平台PAI無縫整合，基於Machine Learning Platform for AI的演算法組件可以實現對MaxCompute資料的模型訓練等操作。通過雲原生巨量資料預先處理能力，為大模型等AI深度學習情境提供資料AI整合能力。增全量資料處理阿里雲MaxCompute在原有的離線批處理引擎基礎上升級架構，推出了近即時數倉解決方案。基於Delta table實現了增全量資料一體化儲存和管理，並且推出了豐富的增量計算能力，同時升級了MaxCompute短查詢加速MaxQA（MCQA2.0）以支援查詢秒級返回。基於Delta Table增量表格式，MaxCompute增加了增量物化視圖（Materialized View）、Time Travel以及Stream Table等一系列的能力。離線即時情境能力融合與即時數倉Hologres深度融合，Hologres支援MaxCompute中繼資料的大量匯入，無需手工建立外表；支援儲存層直讀，使用Hologres對MaxCompute資料進行查詢加速，效能最佳化超10倍以上。
開放架構	湖倉一體 MaxCompute提供湖倉一體2.0方案，允許使用者建立定義外部資料源中繼資料和資料訪問方式的管理對象，並通過外部Schema映射機制實現直接存取外部資料源Database或Schema範圍內的全部表的功能。該方案可以打破資料湖與資料倉儲割裂的體系，並融合資料湖的靈活性、豐富的多引擎生態與資料倉儲的企業級能力，助力構建資料湖和資料倉儲相融合的資料管理平台。 OpenLake MaxCompute全面支援OpenLake解決方案。OpenLake是基於開放可控資料湖倉構建的巨量資料/搜尋/AI一體化解決方案。通過中繼資料管理平台DLF管理結構化和半/非結構化資料，提供湖倉資料表和檔案的安全訪問及IO加速。支援多引擎對接和平權協同計算，通過DataWorks統一開發，並保障大規模任務調度。多引擎訪問可直接運行MaxCompute SQL任務，也可運行Spark、MapReduce、Graph等三方引擎的任務。開放儲存為了更好地融入巨量資料生態，並支援外部引擎訪問MaxCompute中的資料，MaxCompute提供了開放儲存（Storage API）。第三方主Realtime Compute引擎可通過調用Storage API直接存取MaxCompute的底層儲存，從而顯著提升資料訪問和互動效率。
企業級能力	企業級運管提供資源觀測和作業營運功能，使用者可查看各類資源用量和作業詳情，及時發現作業的異常情況和問題並通過控制台處理有問題的作業，最佳化作業的執行計畫及資源配置，提高作業的執行效率和效能。智能化數倉提供成本最佳化功能，可基於實際作業請求量和資源配置期望，產生更優的資源配置方案和效果推演，協助使用者最佳化成本並提高資源利用效率。提供物化視圖智能推薦功能，根據資料表關係，推測影響指數高的物化視圖，協助使用者智能實現查詢最佳化，提高使用者的計算效率、減少重複計算。細粒度許可權控制 MaxCompute細化了專案（Project）、資源Quota、網路連接對象（Networklink）以及專案內的表（Table）、函數（Function）、資源（Resource）及執行個體（Instance）對象的操作，同時還支援對Tunnel下載、敏感性資料訪問及跨專案訪問等行為進行管控。在專案實際運行過程中，可根據人員操作範疇進行精細化授權，為各對象安全提供可靠保障。
安全、容災與穩定性	容災容錯同城容災：當電訊廠商網路、供電系統或IDC基礎設施等遭遇災難性事件導致某個機房服務不可用時，儲存容災機制能夠確保資料讀寫服務不中斷且資料不丟失，從而滿足RPO=0的資料恢複需求。動態脫敏 MaxCompute資料脫敏在資料從儲存層被讀取的瞬間動態執行，保障安全性的同時兼顧效能，確保資料在進入後續的查詢、下載、關聯及UDF計算等環節前已處於脫敏狀態，從而避免敏感性資料泄露風險。脫敏策略支援掩碼、散列、字元替換、數值取整、日期取整等脫敏策略，支援與資料保護傘的資料分類分級功能聯動，滿足使用者對身份資訊、銀行卡號、地址、電話等資料的脫敏需求。資料存放區加密 MaxCompute支援以專案為單位，通過Key Management Service（Key Management Service）對資料進行儲存加密，提供資料靜態保護能力，滿足企業監管和安全合規需求。目前已經支援的密碼編譯演算法包含AES256、AESCTR和RC4。 IP白名單 MaxCompute在安全存取控制基礎上，還提供了基於IP白名單的控制方式。當MaxCompute專案開啟白名單功能後，僅允許白名單內的裝置訪問專案空間，非白名單內的裝置訪問專案空間時，即使擁有正確的AccessKey ID及AccessKey Secret，也無法通過鑒權。 SLA 阿里雲MaxCompute已在各行各業得到廣泛應用，並對客戶提供最高99.9%的服務可用性承諾，詳情可參見MaxCompute服務等級協議（SLA）。

產品動態

更多產品動態參見MaxCompute產品發布動態與公告。