全部產品
Search
文件中心

MaxCompute:重要功能發布記錄

更新時間:Apr 22, 2026

本文為您提供MaxCompute產品的重要功能發布資訊。

MaxCompute的重要功能發布詳情請參見產品重大更新。

2025年

07月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute支援基於時間計算函數的自動分區表

支援使用者對錶中的時間或日期類型的資料列,使用特定的函數進行截取計算,並自動根據計算後的結果產生分區值,對錶進行分區。

2025-07-31

全部地區

基於時間計算函數的自動分區表

MaxCompute支援基於資料寫入時間的自動分區表

支援在資料寫入時自動擷取寫入時間,並結合使用者指定的時間計算函數(TRUNC_TIME),根據計算結果產生分區列的值,從而實現對錶的分區。

2025-07-31

全部地區

基於資料寫入時間的自動分區表

MaxFrame作業支援Worker層級CPU、記憶體

MaxFrame支援通過Fuxi Sensor查看具體某一Worker的CPU及記憶體的實際消耗量。

2025-07-17

全部地區

Fuxi Sensor

MaxFrame AI Function新增內建大模型

MaxFrame AI Function新增內建Qwen 3系列模型,Qwen3-0.6B~Qwen3-14B。​

2025-07-17

全部地區

MaxFrame AI Function

MaxFrame支援作業“部分提交”功能

針對MaxCompute超大規模作業可能出現的,部分Fuxi Instances因資料長尾、死迴圈等問題長期運行,導致作業整體執行時間拖長甚至逾時失敗情境,MaxFrame支援作業部分提交功能,對整體作業允許小範圍的忽略和丟失,即使在作業失敗的情況下仍可獲得已成功啟動並執行Fuxi Instances結果資料。

2025-07-17

全部地區

MaxFrame作業部分提交功能

05月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute SQL引擎新版本能力增強

SQL V51新版本上線:

  • 新功能:支援基於時間計算函數的自動分區表(AUTO PARTITION),支援對時間/日期類型資料列,使用時間計算函數截斷計算並產生分區列的值。

  • 文法增強:STRUCT文法增強,支援STRUCT(*)文法;同時SHOW HISTORY FOR TASK支援指定起始位置和長度。

  • 函數增強:支援一系列新增函數,包含 BOOL_AND、BOOL_OR、BITWISE_XOR_AGG、BIT_COUNT等。

  • 效能最佳化:強化Shuffle Removal能力,在寫Cluster表的情境下提升作業效能。

2025-05-30

全部地區

數倉引擎

04月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxComputeData Transmission Service觀測能力升級

通過最佳化指標資料擷取和加工處理鏈路,提升資料的準確性,新增支援以專案維度查看資源用量能力,新增更多使用方式選項,豐富Data Transmission Service的可觀測性,實現對更多分析情境和需求的支援。

2025-04-24

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、華東1 金融雲、中國香港、新加坡、日本(東京)、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)、沙特(利雅得)

資源觀測

MaxFrame AI Function功能發布

MaxFrame AI Function功能支援通過簡單易用的編程介面調用大模型,對MaxCompute表中的海量資料進行離線處理。

2025-04-09

華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)、阿聯酋(杜拜)和沙特(利雅得)

MaxFrame AI Function

03月

功能名稱

功能描述

發布時間

發布地區

相關文檔

階層式存放區配置最佳化支援自訂策略預估成本功能發布

階層式存放區配置最佳化支援自訂策略預估成本功能,支援根據除預設策略之外的自訂策略,對儲存成本變化進行預估,以協助使用者決策如何配置階層式存放區策略屬性。

2025-03-24

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、華北3(張家口)、華北6(烏蘭察布)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)

自訂策略預估成本

多AZ儲存規格發布

MaxCompute已正式推出多AZ儲存規格,原預設的儲存規格更名為單AZ儲存。建議與企業生產業務相關的資料選擇多AZ儲存,能夠抵禦AZ級故障,在發生AZ級故障時,能夠確保資料讀取和寫入服務不中斷,並避免資料丟失。

2025-03-24

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、華東 2 金融雲、中國香港、新加坡、印尼(雅加達)

同城容災

聚簇最佳化推薦功能發布

MaxCompute聚簇最佳化推薦功能旨在對錶近期的讀寫特徵進行分析,並產生相應的聚簇建議,以協助您提升作業效能並降低CU消耗。您可根據聚簇後的預估收益和推薦詳情決定是否應用系統推薦的聚簇建議,也可在應用建議後查看每日收益。

2025-03-17

華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)和西南1(成都)

聚簇最佳化推薦

02月

功能名稱

功能描述

發布時間

發布地區

相關文檔

自動物化視圖(AutoMV)功能發布

可根據使用者作業查詢習慣和效能自動建立物化視圖,從而提高計算效率、減少重複計算。適用於對MaxCompute表執行多次重複查詢,並且不同使用者之間互不知曉對方也在採用相同的計算邏輯的情境。

2025-02-20

中國公用雲地區

自動物化視圖(AutoMV)

互動式查詢加速2.0(MaxQA)開啟公測

在獨享的查詢加速資源集區的基礎上,最佳化管控鏈路、緩衝能力以及SQL計算引擎等多個環節,從而減少查詢回應時間。適用於BI情境、互動式分析以及近即時數倉等對延遲要求高且穩定的情境。

2025-02-17

全部地區

查詢加速MaxQA操作指南

MaxCompute SQL引擎新版本能力增強

SQL V50新版本上線:

  • 資料類型和構造方式增強:支援scale大於18的更高精度Decimal,並通過STRUCT Expression提供新的STRUCT資料構造方式。

  • 功能增強:增強了FIND_IN_SET函數對多種分隔字元的支援,並擴充了物化視圖改寫所支援的運算元。

  • 效能提升:通過MATERIALIZED CTE提升CTE語句效能,針對Shuffle情境進行了多種效能最佳化。

2025-02-10

全部地區

數倉引擎

資料動態脫敏功能發布

提供資料動態脫敏功能,支援掩碼、散列、字元替換、數值取整及日期取整等多種脫敏策略,以實現對個人識別資訊(PII)等敏感性資料在業務開發測試、資料共用及營運等情境中的有效保護。

2025-02-10

華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)

資料動態脫敏

行級許可權功能更新

最佳化行級許可權功能,新增支援Result Cache、物化視圖、Local Mode等情境,並支援疊加其他最佳化功能,有效提升行級許可權功能的易用性和效能。

2025-02-10

全部地區

行級存取控制

湖倉一體和外部表格能力增強

  • 建立外部表格解析PARQUET格式資料檔案時,支援TINYINT、SMALLINT、DATETIME等類型的隱式轉換。

  • 支援使用MAX_PT函數查詢OSS外部表格中最新的有資料的分區。

2025-02-10

全部地區

湖倉一體和外部表格能力

01月

功能名稱

功能描述

發布時間

發布地區

相關文檔

管理主控台概覽頁發布

MaxCompute管理主控台新增概覽頁,提供快速開始引導、資源執行個體列表、關注的專案和Quota列表、警示與風險提示、產品動態等資訊,協助您快速開始營運管理工作。

2025-01-20

全部地區

2024年

11月

功能名稱

功能描述

發布時間

發布地區

相關文檔

Logview 2.0 適配MaxFrame

Logview 2.0支援查看MaxFrame Session中提交的所有DAG的執行記錄、運行耗時等資訊。

2024-11-29

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、華北6(烏蘭察布)、中國(香港)

通過Logview 2.0查看MaxFrame作業

物化視圖推薦與管理功能最佳化升級

新增預估影響面和實際收益指標,輔助您決策是否採用推薦建議及管理現有物化視圖。

2024-11-26

全部地區

物化視圖推薦與管理

作業智能診斷功能發布

支援基於作業詳細執行資訊,對SQL作業進行智能診斷。從而協助使用者及時發現作業報錯或作業運行時間長度不符合預期等問題,並提供異常分析及解決建議。

2024-11-18

全部地區

作業智能診斷

MaxFrame支援自動化打包服務

MaxFrame支援在作業開發時聲明所需的外部依賴包,簡化了Python開發中第三方包的管理操作。

2024-11-01

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、華北6(烏蘭察布)、中國(香港)

自動化打包服務

10月

功能名稱

功能描述

發布時間

發布地區

相關文檔

同地區下支援購買多個訂用帳戶計算資源一級Quota

MaxCompute支援同帳號在同地區下購買多份訂用帳戶計算資源,即同一個雲帳號在同地區下支援購買多個一級Quota,且多個一級Quota之間資源相互獨立。

2024-10-14

全部地區

訂用帳戶標準版

09月

功能名稱

功能描述

發布時間

發布地區

相關文檔

儲存成本最佳化功能發布

MaxCompute儲存成本最佳化功能依據固定最佳化策略(近30天無訪問的標準儲存推薦轉為低頻儲存;近180天無訪問的標準儲存推薦轉為長期儲存),結合表/分區的最近訪問時間,判斷是否可以將表/分區的階層式存放區屬性由標準變更為低頻或長期,並推算可能節省的儲存成本(目錄價),輔助您進行階層式存放區策略配置。

2024-09-27

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、華北3(張家口)、華北6(烏蘭察布)

階層式存放區配置最佳化

控制台訂用帳戶計算Quota管理互動介面升級

MaxCompute控制台訂用帳戶計算Quota管理頁面,保留原來大邏輯的基礎上,把互動分成兩大情境,提升Quota管理操作體驗:

  • 基礎配置:若無Quota分時訴求,基礎配置可完成二級Quota的拆分與管理。

  • 伸縮配置:若有Quota分時訴求,基礎配置拆分二級Quota以及配置其他基礎參數後,在伸縮配置對Quota配置可伸縮的CU類型,同時新增全域視圖瀏覽各時段所有Quota的CU配置。

2024-09-11

全部地區

計算資源-Quota管理

08月

功能名稱

功能描述

發布時間

發布地區

相關文檔

儲存資源觀測功能發布

您可以查看所選地區下總儲存用量以及各種儲存類型佔比情況,並根據專案和需要觀測的時間區間去觀測各類儲存的變化趨勢,以及詳細的表或分區儲存資訊。以此判斷是否存在儲存異常激增的情況,及時對儲存用量Top的專案或表/分區進行最佳化。

2024-08-16

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、華北3(張家口)、華北6(烏蘭察布)

資源觀測

作業效能觀測功能更新

在原功能的基礎上增加單位CU時處理的作業掃描量趨勢,以及消耗資源、時間Top作業列表。通過所提供的指標可快速定位資源用量較多、耗時較長的作業,並及時治理,判斷是否存在效能異常時段,結合作業營運功能定位引發原因,並及時治理。

2024-08-13

全部地區

資源觀測

07月

功能名稱

功能描述

發布時間

發布地區

相關文檔

作業效能觀測

通過作業效能觀測指標查看是否存在作業數量異常激增、資源用量異常激增等問題,並及時治理。通過對比不同時間的作業運行時間長度,判斷是否存在異常慢作業拉低了整體作業效能。

2024-07-31

全部地區

資源觀測

作業營運列表、作業分析概覽頁提供作業開始已耗用時間、等待時間長度及運行時間長度參數

通過該參數,您可以快速定位作業是否因等待資源耗時過長而導致整體運行較慢,進而結合作業分析判斷具體由於資源供給不足或是存在多作業搶佔資源導致,後續您可以依據具體業務情況最佳化作業執行情況、進行作業優先順序調整或計算資源管理。

2024-07-04

全部地區

作業營運

計算成本最佳化功能在中國香港、新加坡等4個地區發布

該功能可基於您的實際作業請求量和資源配置期望,對訂用帳戶一級Quota類型的計算資源產生更優的資源配置方案,也支援查看當前使用隨用隨付計算資源的專案調整為使用訂用帳戶計算資源的資源配置推薦方案及效果推演,協助您進一步最佳化計算成本和提高資源利用效率。

2024-07-01

中國香港、新加坡、印尼(雅加達)、德國(法蘭克福)

計算資源配置最佳化

06月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援行級存取控制

為了便於控制使用者或角色對MaxCompute表中特定資料的訪問,MaxCompute提供了行級存取控制功能,通過在原表上定義使用者與資料(被允許訪問的資料)的匹配規則,控制特定使用者或角色僅可見其有許可權訪問的資料,從而提升資料安全性和合規性。

2024-06-28

全部地區

行級存取控制

05月

功能名稱

功能描述

發布時間

發布地區

相關文檔

作業效能觀測功能發布

對於計算作業,可通過整體作業運行相關指標(如作業數量、CU用量及作業運行時間長度)查看是否存在作業數量異常激增、資源用量異常激增等問題,並判斷作業效能是否符合預期。

2024-05-08

全部地區

作業效能觀測

04月

功能名稱

功能描述

發布時間

發布地區

相關文檔

視窗函數支援過濾功能

視窗函數支援過濾功能,在視窗Function Compute過程中可以過濾掉不需要參與計算的行。

2024-04-10

全部地區

filter_clause

支援二進位常量

支援二進位常量,方便使用者使用位元據類型的資料,使用者可以用X'num' 代表二進位常量。

2024-04-10

全部地區

2.0資料類型版本

新增內建函數FROM_CHARSET

MaxCompute FROM_CHARSET支援將指定編碼格式的位元據轉換為UTF-8格式的字串,以便後續進行計算時使用。

2024-04-10

全部地區

FROM_CHARSET

新增TIMESTAMP_NTZ資料類型

新增時區不轉換的時間資料類型TIMESTAMP_NTZ,方便資料在不同時區下進行轉化,時間類型資料不受當前系統時區影響。

2024-04-10

全部地區

TIMESTAMP_NTZ資料類型

03月

功能名稱

功能描述

發布時間

發布地區

相關文檔

華北6(烏蘭察布)正式開服

MaxCompute產品新增開通華北6(烏蘭察布),提供企業級Serverless智能數倉服務,可以在控制台上按需求開通。

2024-03-26

華北6(烏蘭察布)

-

Action Trail事件遷移入倉功能發布

當您需要分析更長時間(超過最近90天)的操作事件時,可以通過Action Trail建立跟蹤,將操作事件投遞至MaxCompute,方便進行查詢和分析。

2024-03-14

全部地區

Action Trail事件數目據遷移至MaxCompute

控制台SQL分析功能發布

MaxCompute控制台的SQL分析,支援編輯及運行SQL命令,並對執行結果簡單的圖表分析;支援查看所有專案內的table、resource、udf的中繼資料資訊,包括查看內建的租戶層級Information Schema的視圖中繼資料;同時內建公用資料集Demo,可以直接開啟公用資料集Demo的SQL檔案執行代碼,基於公開資料集體驗及測試MaxCompute。

2024-03-14

全部地區

使用SQL分析串連

01月

功能名稱

功能描述

發布時間

發布地區

相關文檔

計算成本最佳化功能發布

MaxCompute計算資源最佳化功能更新為計算成本最佳化功能。在原計算資源最佳化功能的基礎上,對於使用隨用隨付計算資源的專案,MaxCompute提供了使用訂用帳戶計算資源的資源配置推薦方案及效果推演,以協助您進一步最佳化計算成本,提高資源利用效率。

2024-01-25

全部地區

計算資源配置最佳化

控制台資源觀測支援修改指標彙總演算法

控制台資源觀測為最佳化頁面體驗,每個指標至多支援展示60個時間點,因此當時間範圍大於1h時,原先圖表預設使用區間範圍內(所選時間範圍的分鐘數/60)的平均值彙總資料。現在您可以根據自身需求更改彙總演算法為最大值,以便更全面地分析資源消耗情況。

2024-01-02

全部地區

資源觀測

2023年

12月

功能名稱

功能描述

發布時間

發布地區

相關文檔

隨用隨付閑時版發布

MaxCompute提供單價更低的隨用隨付計算資源規格類型(隨用隨付閑時版),為您降低在延遲不敏感情境下使用MaxCompute的成本。

2023-12-28

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、中國香港、新加坡、英國(倫敦)、日本(東京)、馬來西亞(吉隆坡)、德國(法蘭克福)、印尼(雅加達)、美國(維吉尼亞)、美國(矽谷)

隨用隨付閑時版

支援通過控制台編輯外部網路地址

支援通過控制台添加或刪除專案可用的外部網路地址。

2023-12-20

全部地區

網路開通流程

11月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援增加TableStore外表髒資料處理配置

在讀取TableStore外表資料時,使用者可以配置遇到髒資料時的處理邏輯。

2023-11-22

全部地區

Tablestore外部表格

支援PAIMON外部表格

MaxCompute支援使用PAIMON外部表格來讀取PAIMON中的資料。

2023-11-22

全部地區

Paimon外部表格

支援列層級資料加密

列級加密支援通行金鑰集,支援通行金鑰輪轉,支援結合KMS密鑰進行資料加解密操作。

2023-11-22

全部地區

加密函數

專案超級管理員設定支援通過RAM許可權管控

支援擁有RAM許可權(UpdateUsersToSuperAdmin)的RAM使用者為某個專案設定超級管理員角色成員。

2023-11-21

全部地區

專案管理

09月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MapReduce支援SQL運行時執行模式

MaxCompute新增將MapReduce作業指定為SQL運行時執行。

2023-09-25

全部地區

MapReduce支援SQL運行時執行模式

作業分析功能發布

MaxCompute推出作業分析功能,方便開發人員定位作業資源問題。

2023-09-21

全部地區

作業營運

08月

功能名稱

功能描述

發布時間

發布地區

相關文檔

租戶層級Information Schema

租戶層級Information Schema從租戶角度提供專案及使用歷史等元數資訊,方便一次性擷取租戶下某類對象的所有中繼資料。

2023-08-08

全部地區

租戶層級Information Schema

06月

功能名稱

功能描述

發布時間

發布地區

相關文檔

新增JSON資料類型

新增JSON資料類型,MaxCompute支援寫入JSON資料類型時,自動最佳化儲存,提高JSON資料計算分析效能。

2023-06-27

全部地區

JSON資料類型

增強資料寫入時Zorder功能

MaxCompute增強Zorder功能,支援資料寫入時全域進行統一排序,減少資料掃描量,提高計算效能。

2023-06-27

全部地區

插入或覆寫資料(INSERT INTO | INSERT OVERWRITE)

新增列資料清空功能

MaxCompute支援使用者清空指定表或者分區的列資料,節省儲存空間。

2023-06-27

全部地區

更新或刪除資料(UPDATE | DELETE)

新增8個內建複雜類型函數

MaxCompute新增8個內建複雜類型函數,簡化使用者對數組的操作,提高開發效率。

2023-06-27

全部地區

05月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援TableStore外表指定PutRow方式寫入

MaxCompute支援Tablestore外表新增PutRow寫入方式。

2023-05-06

全部地區

Tablestore外部表格

支援將資料帶表頭寫入OSS的CSV檔案

MaxCompute支援將資料寫入OSS的CSV檔案中時,指定第一行為表頭名稱。

2023-05-06

全部地區

ORC外部表格

新增多個內建函數

MaxCompute新增4個數學函數,3個時間日期相關函數和1個字串函數,使用內建函數簡化使用者SQL代碼。

2023-05-06

全部地區

物化視圖支援定時重新整理資料

物化視圖支援多種定時方式重新整理資料,讓物化視圖能保持更新鮮的資料供使用者使用。

2023-05-06

全部地區

物化視圖操作

SQL提供內建加密函數和解密函數

MaxCompute SQL提供內建加密函數和解密函數,支援使用者手工對錶的列進行加密或者解密操作。

2023-05-06

全部地區

加密函數

支援使用QUALIFY過濾視窗函數的結果

MaxCompute支援使用QUALIFY文法根據您指定的過濾條件過濾視窗函數的結果,簡化使用者SQL代碼。

2023-05-06

全部地區

QUALIFY

持通過TABLESAMPLE對錶資料進行採樣

MaxCompute支援通過TABLESAMPLE對錶資料進行採樣,方便使用者對錶資料按不通採樣方式進行採樣。

2023-05-06

全部地區

TABLESAMPLE採樣

04月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援更改表結構

支援使用者修改表結構,包括:新增複雜列,刪除列,更改列順序以及更改列資料類型。

2023-04-25

全部地區

分區操作

物化視圖加速

物化視圖加速可以自動推薦建立物化視圖SQL指令碼,方便使用者快速建立物化視圖,減少重複計算,減少計算資源。

2023-04-23

全部地區

物化視圖推薦與管理

新版作業營運

新版作業營運將提供全量MaxCompute作業運行列表進行營運管理,同時滿足查看作業快照資訊和作業當前資訊。

2023-04-06

全部地區

作業營運

03月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援使用Spark和MapReduce任務處理External Volume中的非結構化資料

MaxCompute支援使用Spark和MapReduce任務在倉內處理基於OSS的External Volume中的非結構化資料。

2023-03-30

全部地區

利用External Volume處理非結構化資料

支援External Volume非結構化資料存放區能力

External Volume是MaxCompute提供的非結構化巨量資料儲存方案,是OSS路徑在數倉中的映射和管理對象。

2023-03-30

全部地區

External Volume操作

02月

功能名稱

功能描述

發布時間

發布地區

相關文檔

增強顯示資料對象SHOW命令

SHOW命令可以列出更細分類下的資料對象,包括表,視圖和函數。

2023-02-25

全部地區

SHOW

01月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援Hologres外部表格儲存直讀

支援Hologres儲存直讀,直讀Hologres存資料時可以減少Hologres的串連數和提高讀取資料的速度。

2023-01-21

全部地區

Hologres外部表格

2022年

12月

功能名稱

功能描述

發布時間

發布地區

相關文檔

增加SQL Window關鍵字

新增WINDOW關鍵字,使用者可以用WINDOW關鍵字定義視窗,使用者只要對視窗定義一次,進行重複使用。

2022-12-14

全部地區

WINDOW關鍵字

Update文法支援From子句

UPDATE資料更新操作時可以直接使用FROM子句進行更新資料。

2022-12-14

全部地區

更新或刪除資料(UPDATE | DELETE)

最佳化增強字串函數和彙總函式能力並新增字串函數

  • 最佳化3個字串處理內建函數:CAST/SPLIT/RAND。

  • 增強兩個視窗函數:NUMERIC_HISTOGRAM/PERCENTILE_APPROX。

  • 新增函數MASK_HASH。

2022-12-14

全部地區

內建函數概述

11月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援自訂專案管理類角色

MaxCompute的專案內建Admin和Super_Administrator兩個管理類角色,同時也支援自訂管理類角色。通過新版控制台的專案管理-角色管理,建立專案角色時選擇Admin類型實現自訂管理類角色。您可以通過自訂管理類角色讓一些角色僅能進行許可權分配管理、只能進行IP白名單管理等。

2022-11-15

全部地區

MaxCompute許可權

10月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援資料結構由project.table升級為project.schema.table,方便與三層結構資料的資料來源對接。

MaxCompute專案(Project)作為基主要組織單元,是進行多使用者隔離和存取控制的主要邊界。同時Project中包含表(Table)、資源(Resource)、函數(Function)對象,這些對象原來直接放在Project下,需要Project充當類似於傳統資料庫的Database或Schema的概念,概念容易混淆(既是Database又是Schema),在有很多表或者對象的情況使用便利性較差。 目前MaxCompute支援Schema,在Project之下對Table、Resource、Function進行歸類。如果您原資料存放區層級結構也如project.schema.table,且即將遷移到MaxCompute,可以選擇使用MaxCompute的Schema功能,可以直接與資料來源層級對齊無需在遷移時做業務重構,減少工作量。

2022-10-13

全部地區

Schema操作

09月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援使用雙簽名模式建立Hologres外部表格

雙簽名模式是MaxCompute與Hologres共同研發的認證及鑒權協議,在MaxCompute側使用使用者登入資訊加簽名後,將認證資料傳遞給Hologres側,Hologres根據與MaxCompute底層達成的協議,進行同名認證及鑒權。這樣您只要在MaxCompute和Hologres具有相同的帳號,就可以直接存取Hologres外部表格,無需額外設定認證資訊。

2022-09-24

全部地區

Hologres外部表格

支援通過Create table like方式建立與外部資料源中表結構相同的表。

利用MaxCompute湖倉一體在MaxCompute中建立與EMR、Hadoop、DLF等外部資料源中表結構相同的表,利用Create table like文法將外部資料源中的表結構遷移至MaxCompute內,以擷取更好的資料治理能力和訪問效能。

2022-09-23

全部地區

使用SQL管理外部項目

08月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援分區表到期後自動刪除表

當分區表的分區資料生命週期到期會自動回收,當所有分區都自動回收後,MaxCompute支援設定自動刪除該分區表。

2022-08-27

全部地區

生命週期操作

新增三個彙總函式

新增三個彙總函式,分別是BITWISE_AND_AGG對輸入值做BIT AND操作並返回彙總值;MIN_BY返回指定列最小值所在行指定列的值;MAX_BY返回指定列最大值所在行指定列的值。

2022-08-27

全部地區

彙總函式

建立內表時支援使用like語句複製外部表格的表結構

建立內部表時支援使用like複製外部表格的表結構,提高建表效率。

2022-08-27

全部地區

建立表

新增物化檢視狀態查看函數

新增物化檢視狀態查看函數,該函數可以判斷當前物化視圖或者物化視圖的分區的資料是否跟原表的資料一致,如果一致返回為True,否則返回False。

2022-08-27

全部地區

物化視圖操作

物化視圖支援產生空分區

當重新整理分區物化視圖時,如果物化視圖計算後對應的分區沒有資料時,物化視圖會產生一個沒有資料的空分區,保持分區的連續性。

2022-08-27

全部地區

物化視圖操作

Use Quota(作業層級指定計算資源)功能發布

通過MaxCompute的Use Quota功能,實現作業層級指定Quota,提升Quota使用的靈活性。如Project內某些作業佔用大量資源會影響整體專案作業時效(如資料回刷作業佔大量資源但時效要求不高、某些佔用大量資源且時效要求高的演算法作業),需要進行Quota隔離指定資源進行計算,可以通過Use Quota功能直接指定,無需單獨建立Project進行作業遷移通過Project綁定Quota來實現。

2022-08-23

全部地區

計算資源-Quota使用

07月

功能名稱

功能描述

發布時間

發布地區

相關文檔

新增一個正則函數

MaxCompute新增一個正則函數regexp_extract_all,您可以用該函數一次性從需要處理的字串中匹配所有滿足要求的子字串,並以數組方式返回,提高資料處理效率。

2022-07-14

全部地區

字串函數

支援Unload函數匯出資料時自訂匯出檔案名稱的前尾碼

支援使用Unload函數從MaxCompute匯出資料到OSS時,自訂設定匯出資料檔案名的首碼和尾碼。

2022-07-14

全部地區

UNLOAD

支援在表層級設定Split Size參數

在表層級設定Split Size參數控制並發度,當您發現資源比較充足且作業跑的比較慢的時候或者發現作業等待資源時間比較長且資源不足時,可以通過調整該參數,提升計算效率。

2022-07-14

全部地區

SELECT文法

新增三個視窗函數以及效能最佳化

新增first_value、last_value、nth_value三個視窗函數,以及對現有所有視窗函數進行效能調優,視窗函數的計算效能大幅提升。

2022-07-14

全部地區

視窗函數

新增六個彙總函式

新增BITWISE_OR_AGG、MAP_AGG、MULTIMAP_AGG、MAP_UNION、MAP_UNION_SUM、HISTOGRAM六個彙總函式,可以對輸入的Bit值或者Map對象做彙總操作,更加便捷的做資料分析統計。

2022-07-14

全部地區

彙總函式

06月

功能名稱

功能描述

發布時間

發布地區

相關文檔

訂用帳戶支援獨佔Quota

通過MaxCompute訂用帳戶獨佔Quota,即使CU空閑也不被其他Quota佔用,強保障本Quota作業的資源。適用於跑BI/ALGO等業務的quota因隨時都可能使用Quota,需防止被其他quota佔用長時間不釋放(當Quota的max值>min值時有可能會去佔用其他閒置Quota)。

2022-06-27

全部地區

MaxCompute管家

訂用帳戶Quota支援單作業CU並發上限

通過單作業CU並發上限,可以控制MaxCompute訂用帳戶Quota出現單作業長時間佔用大量CU導致其他作業一直等待資源。在設定前,需要充分評估需要設定的並發量,避免出現類似並發太小而作業極少導致作業跑的慢但整個Quota又跑不滿這種不合理的配置。

2022-06-27

全部地區

MaxCompute管家

05月

功能名稱

功能描述

發布時間

發布地區

相關文檔

按外部表格類型對外部表格計算獨立計費

MaxCompute按外部表格類型進行獨立計費,目前使用者可以在自己的賬單上清晰看到OSS外部表格和Tablestore外部表格分別產生的費用,方便使用者查看不同資料來源做資料聯合計算產生的費用。

2022-05-17

全部地區

查看賬單詳情

03月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute新增DISTRIBUTED MAP JOIN

支援使用者在特殊情境下使用HINT方式進行DISTRIBUTED MAP JOIN計算,提高計算效能,減少計算時間。

2022-03-17

全部地區

DISTRIBUTED MAPJOIN

MaxCompute增強OSS外表能力

MaxCompute往OSS外表寫資料時,支援自動建立託管目錄。在建立OSS外表時可以指定讀取檔案的緩衝容量。

2022-03-17

全部地區

OSS外部表格

MaxCompute增加半結構化資料(JSON)新解析方式

MaxCompute支援使用者JSON資料索引值中帶特殊字元點(.),可以用['']來讀取帶點作為索引值的資料。

2022-03-17

全部地區

GET_JSON_OBJECT_TUPLE和JSON_TUPLE

MaxCompute增強TRIM、LTRIM和RTRIM函數能力

MaxCompute支援用TRIM、LTRIM、RTRIM函數去除字串左端,右端或者兩端的指定字元功能。

2022-03-17

全部地區

字串函數

MaxCompute增強物化視圖自動改寫能力

物化視圖新增OUTER JOIN和UNION、UNION All的自動改寫能力。

2022-03-17

全部地區

物化視圖操作

MaxCompute支援壓縮TEXTFILE格式檔案的Skip header和Skip footer

MaxCompute支援通過skip.header.line.count和skip.footer.line.count,對CSV格式檔案的資料的首尾行進行跳過處理,即不處理CSV格式檔案中的首尾行資料,包括以.gz、.bz2和.lzo的方式壓縮過的CSV檔案。

2022-03-01

全部地區

ORC外部表格

MaxCompute相容開源Spark的計算服務全新支援3.1版本

MaxCompute相容開源Spark的計算服務繼1.6、2.3、2.4版本之後,全新支援Spark 3.1版本。

2022-03-01

全部地區

搭建Linux開發環境

02月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute Logview新增資料安全管理功能

MaxCompute Logview的運行結果支援自訂配置是否顯示,進一步對資料安全進行管控。

2022-02-25

全部地區

專案空間操作

MaxCompute支援表結構變更

MaxCompute支援表結構變更功能,包括表可以新增複雜類型欄位,表刪除欄位以及表欄位順序變更三種功能。

2022-02-23

全部地區

分區操作

01月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute外部項目中繼資料資訊支援在DataWorks資料地圖查看

MaxCompute外部項目中繼資料資訊支援在DataWorks資料地圖查看。

2022-01-10

德國(法蘭克福)和新加坡地區

通過DataWorks管理湖倉一體

MaxCompute控制台對外部資料源進行管理

MaxCompute支援通過建立外部資料來源物件串連Hadoop叢集,打通MaxCompute與Hadoop資料平台。

2022-01-06

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、華北3(張家口)、和新加坡地區

外部資料源管理

2021年

12月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援嚮導式開通MaxCompute到VPC中Hadoop Hive 和資料湖構建DLF+ OSS的串連

支援一站式建立到VPC的網路連接、資料來源串連以及湖倉一體外部項目,代替原有的工單開通方式,時間從天層級縮短到分鐘級。增加湖倉一體首頁,整合湖倉一體建立、開發、管理和治理等主要功能入口。

2021-12-30

全部地區

MaxCompute湖倉一體概述

MaxCompute支援漸進式計算

MaxCompute支援漸進式計算,在處理資料過程中按照一定時間顆粒度自動按時間分區儲存處理過程中的中間結果資料,在下一個周期執行時可以重複使用上周期已經計算好的重疊時間部分的資料,從而降低了計算資源消耗、執行調度時間,為客戶節省了費用的同時提高了作業的運行效率。

2021-12-03

全部地區

參考:漸進式計算

MaxCompute物化視圖功能增強

MaxCompute物化視圖支援建立分區和聚簇,在查詢物化視圖時如果發現有分區資料不存在物化視圖中時,可以設定系統自動穿透去查詢源表,並返回源表和物化視圖的摘要資料。

2021-12-01

全部地區

物化視圖操作

11月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute專用網路串連管理產品化發布

MaxCompute支援通過外部表格、UDF及湖倉一體等功能訪問VPC網路,需要先開通MaxCompute和目標IP或服務,例如HBase、RDS、Hadoop叢集等連通目標的網路連接。前期開通MaxCompute專用網路串連,需要通過頁面表單進行申請添加。專用網路串連管理產品化發布後,您可以通過MaxCompute控制台的网络资源功能介面自行增加或刪除專用網路串連,無需通過表單申請並等待審批,提升開發效率。在配置前,您需先瞭解网络资源管理相關的系統管理權限,有許可權的帳號方可進行操作。

2021-11-29

  • 華北2(北京)

  • 華東2(上海)

  • 華北3(張家口)

  • 華東1(杭州)

  • 華南1(深圳)

網路開通流程

MaxCompute支援清空分區表中指定分區的資料

MaxCompute支援使用者手動清空分區表中指定的一個或者多個分區的資料,但不會刪除分區表或者分區表的分區中繼資料資訊。同時MaxCompute可以支援用過濾條件來篩選需要清空資料的分區。

2021-11-23

全部地區

清空分區資料

10月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute外表支援HBase增強版和雲原生多模資料庫Lindorm

ApsaraDB for HBase增強版,是由雲原生多模資料庫Lindorm的寬表引擎提供的、完全相容HBase的雲上管理的資料庫。雲原生多模資料庫Lindorm是面向物聯網、互連網、車連網等設計和最佳化的,支援寬表、時序、文本、對象、流、空間等多種資料的統一訪問和處理的雲原生多模超融合資料庫。在很多應用情境中需要把HBase增強版或者Lindorm的資料匯入到MaxCompute做資料加工、資料分析和聯邦查詢,同時MaxCompute中的資料也需要寫入HBase增強版或者Lindorm中。現在可以在MaxCompute中建立HBase增強版或者Linorm的外表,對HBase增強版或者Lindorm中的資料進行讀寫操作。

2021-10-29

全部地區

Lindorm外部表格(雲原生多模資料庫)

09月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute 產品在華南1金融雲(深圳)正式開服

MaxCompute支援的地區增加華南1金融雲(深圳)。

2021-09-14

華南1金融雲(深圳)

無

MaxCompute 支援訪問開啟Kerberos 認證授權機制的 Hadoop叢集

大部分企業的Hadoop的生產叢集開啟了 Kerberos認證授權機制,本次功能更新能夠利用MaxCompute訪問開啟Kerberos認證授權機制的 Hadoop叢集,極大的擴充了湖倉一體對接Hadoop的適用範圍。

2021-09-01

  • 華東1(杭州)

  • 華東2(上海)

  • 華北2(北京)

  • 華南1(深圳)

  • 華北3(張家口)

  • 新加坡

無

MaxCompute 支援通過湖倉一體方式讀取OSS上的Hudi或 Delta Lake格式儲存

Delta Lake和Hudi是資料湖方案中常用的儲存機制,為資料湖提供流處理、批處理能力。MaxCompute基於阿里雲DLF、OSS產品提供了支援Delta或Hudi 儲存機制的湖倉一體架構。您可以通過MaxCompute查詢到即時資料,即時洞察業務資料變化。

2021-09-01

  • 華東1(杭州)

  • 華東2(上海)

  • 華北2(北京)

  • 華南1(深圳)

  • 新加坡

基於DLF、RDS或Flink、OSS支援Delta Lake或Hudi儲存機制

08月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute SQL新增編碼轉換等16個內建函數

MaxCompute SQL 新增內建函數包括:

  • 複雜類型函數

    FIELD:擷取STRUCT中的成員變數的取值。

  • 日期函數

    TO_MILLIS:將指定日期轉換為以毫秒為單位的UNIX時間戳記。

  • 字串函數

    • ENCODE:將字串按照指定編碼格式編碼。

    • FIND_IN_SET:在以逗號分隔的字串中尋找指定字串的位置。

    • LOCATE:在字串中尋找另一指定字串的位置。

    • PARSE_URL_TUPLE:對URL進行解析返回多個部分的資訊。

  • 數學函數

    CORR:計算兩列資料的皮爾遜係數。

  • 其他函數

    • HASH:對輸入的參數進行散列運算,返回一個HASH值。

    • COMPRESS:對輸入的字串,按照GZIP演算法進行壓縮。

    • DECOMPRESS:對於BINARY類型的輸入,使用GZIP演算法進行解壓縮。

    • NULLIF:如果expr1和expr2的值相等,返回NULL;否則返回expr1。

    • FORMAT_NUMBER:將數字轉化為指定格式的字串。

    • SHA:計算字串或者二進位的SHA-1雜湊值,並將值以十六進位字串返回。

    • SHA1:計算字串或者二進位的SHA-1雜湊值,並將值以十六進位字串返回。

    • SHA2:計算字串或者二進位的SHA-2系列雜湊值(支援SHA-224,SHA-256,SHA-384和SHA-512)。

    • CRC32:計算字串或者二進位的迴圈冗餘校正值。

2021-08-31

全部地區

MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商業化

自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能結束免費公測,開始正式計費。已經使用UPDATE、DELETE和MERGE INTO功能的隨用隨付作業,屆時會產生計算費用。如果您之前因為擔心公測穩定性問題而暫未使用UPDATE、DELETE和MERGE INTO功能,屆時可以放心使用。MaxCompute為UPDATE、DELETE和MERGE INTO功能的相關可用性、穩定性等提供與MaxCompute SQL能力同等的保障。

2021-08-10

  • 華北2(北京)

  • 華東2(上海)

  • 華北3(張家口)

  • 華東1(杭州)

  • 華南1(深圳)

  • 西南1(成都)

MaxCompute流式資料通道服務功能商業化發布

MaxCompute流式資料通道服務提供流式語義API支援,簡化分布式服務開發操作。支援分布式服務並發建立分區,支援資料非同步zorder by排序功能。

2021-08-09

全部地區

流式資料通道服務

MaxCompute SQL支援物化視圖

MaxCompute SQL推出物化視圖(Materialized View)功能。物化視圖本質是一種預計算,即把某些耗時的操作(例如JOIN、AGGREGATE)的結果儲存下來,以便在查詢時直接複用,從而避免這些耗時的操作,最終達到加速查詢的目的。

物化視圖適用於如下情境:

  • 模式固定、且執行頻次高的查詢。

  • 查詢包含非常耗時的操作,比如彙總、串連操作等。

建立了物化視圖後,執行查詢操作時,MaxCompute SQL查詢改寫能力會自動匹配到最優物化視圖,並直接從物化視圖中讀取資料,從而大大提高查詢效率,您不需要修改已有查詢。

2021-08-06

全部地區

物化視圖操作

07月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute SQL支援對部分彙總函式輸入預排序

MaxCompute SQL的彙總函式WM_CONCAT、COLLECT_LIST及對資料輸入順序敏感的UDAF函數,如果指定了排序列WITHIN GROUP (ORDER BY col1[, col2...]),那麼彙總函式的輸入會保證有序。

2021-07-30

全部地區

彙總函式

MaxCompute SQL子查詢支援多列運算的文法

MaxCompute SQL相容PostgreSQL子查詢文法,提供in subquery/scalar subquery支援多列運算的文法。其中:

  • in subquery:

    • in後的運算式可以為簡單的SELECT多列語句。

    • in後的運算式中可以使用彙總函式。

    • in後的運算式可以為常量。

  • scalar subquery:

    • SELECT列為包含多列的SCALAR SUBQUERY運算式,只支援等值運算式。

    • SELECT列可以為BOOLEAN運算式,只支援等值比較。

    • where支援多列比較,只支援等值比較。

2021-07-29

全部地區

子查詢(SUBQUERY)

MaxCompute專案刪除新功能發布

您可以通過阿里雲帳號(主帳號)或具備專案Super_Administrator角色的RAM使用者帳號登入MaxCompute控制台刪除MaxCompute專案。支援如下兩種刪除方式:

  • 逻辑删除,15日内可恢复:刪除後專案不可用,15天內您可以在專案管理頁簽的目標MaxCompute專案的操作列單擊恢复,恢複專案。超過15天會徹底刪除專案且永久無法恢複。

  • 立即删除,永久不可恢复:徹底刪除,永久不可恢複。此方式刪除後您可以立即建立同名專案。

2021-07-29

  • 華北2(北京)

  • 華東2(上海)

  • 華北3(張家口)

  • 華東1(杭州)

  • 華南1(深圳)

  • 西南1(成都)

刪除表或MaxCompute專案

MaxCompute管家發布新的SQL效能最佳化推薦

MaxCompute管家定期推薦需要進行效能或成本最佳化的作業列表,本次主要是針對“適合啟用Dynamic Filter進行效能最佳化的包含JOIN的SQL周期作業”。推薦的結果清單將給出最近一次執行的Instance ID(單擊Instance ID可查看Logview),以及JOIN的輸入輸出數目,同時預測通過Dynamic Filter最佳化後SQL的加速效率和HINT方式輔助資訊,很方便的擷取到需要最佳化的作業資訊,通過資訊判斷是否需要對作業進行最佳化。

2021-07-16

  • 華北2(北京)

  • 華東2(上海)

  • 華北3(張家口)

  • 華東1(杭州)

  • 華南1(深圳)

  • 西南1(成都)

MaxCompute管家

04月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute支援Dynamic Filter智能最佳化功能

JOIN是分布式系統中常見的操作,在海量資料情境下,也是一個非常耗時、耗資源的操作。針對JOIN情境,MaxCompute推出Dynamic Filter智能最佳化功能,可以利用JOIN本身的等值串連屬性,基於運行時動態產生過濾器,在Shuffle或JOIN之前提前過濾資料,實現加速查詢運行。該功能適用於維度資料表和事實表執行JOIN的情境。您可以在Session層級通過開關強制開啟、智能選擇開啟或手工提示使用動態過濾器,並使用動態分區裁剪方法先過濾分區再使用動態過濾器。

2021-04-07

  • 華北2(北京)

  • 華東2(上海)

  • 華北3(張家口)

  • 華東1(杭州)

  • 華南1(深圳)

  • 西南1(成都)

動態過濾器(Dynamic Filter)

03月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute Project全量作業或Project全量SQL作業逾時監控警示功能發布

MaxCompute支援通過CloudMonitor配置閾值警示規則,監控作業運行時間長度。當作業運行逾時後,系統會將警示資訊發送至警示連絡人,助力及時識別異常作業,提升營運效率。

2021-03-16

  • 華北2(北京)

  • 華東2(上海)

  • 華北3(張家口)

  • 華東1(杭州)

  • 華南1(深圳)

  • 西南1(成都)

作業逾時監控警示

MaxCompute SQL支援FROM_JSON/TO_JSON函數

FROM_JSON函數可以將JSON轉換成MaxCompute的資料類型,或提取JSON中的資訊,根據JSON字串jsonStr和schema資訊,返回ARRAY、MAP或STRUCT類型。TO_JSON函數可以將給定的複雜類型ARRAY、MAP或STRUCT,以JSON字串格式輸出。

2021-03-16

全部地區

字串函數

MaxCompute SQL支援UPDATE/DELETE/MERGE INTO文法(公測)

UPDATE/DELETE是MaxCompute新支援的在行層級動作表或者分區資料的語句。相比之前訂正表或者分區中的少量資料,也需要讀取全量資料,關聯產生新資料之後再INSERT OVERWRITE全量寫回的方法,UPDATE/DELETE操作讀寫資料量都顯著下降。

當您對目標表的一次操作包括INSERT、UPDATE、DELETE邏輯時,MERGE INTO功能可以用一條SQL語句進行一次掃描完成全部操作,執行效率更高。同時,MERGE INTO任務具備原子性,任一內部邏輯處理失敗,則整體作業執行失敗,避免同一批操作部分邏輯無法回退或重做的問題。您需要建立Transactional表才能使用UPDATE/DELETE/MERGE INTO功能。並且因為巨量資料系統保證任務層級的ACID,當作業並發運行且操作的目標表相同時,可能會出現作業衝突。需要注意的是目前UPDATE/DELETE/MERGE INTO處於公測階段,不收取計算費用,但公測期間也暫時不對您使用此功能用於生產的作業和資料提供保證,重要資料請做好備份。

2021-03-16

全部地區

MaxCompute管家作業診斷功能發布

MaxCompute管家發布的慢作業、錯作業診斷功能,可以協助巨量資料開發人員和分析師在日常作業營運中,對慢作業和錯作業進行自助診斷分析,通過診斷分析結果給出的建議,對作業進行最佳化,從而提示作業的運行效率。診斷功能主要支援7天以內的SQL、MapReduce類型的作業診斷,基於作業運行時產生的各個階段狀態資訊,與作業歷史運行資料進行對比分析,得出作業相比歷史在某些環節或診斷維度上的缺陷和問題,並針對問題給出相應的原因和解決方案。診斷資訊展示主要分為4大塊內容,分別是作業基礎資訊、作業歷史運行Instance列表、控制叢集歷史耗時分析、計算叢集歷史耗時分析,方便使用者對診斷結果進行閱覽,並快速擷取到診斷建議。

2021-03-12

全部地區

MaxCompute管家

MaxCompute管家SQL周期作業持續空輸出或持續全表掃描推薦功能發布

MaxCompute管家將定期推薦需要進行效能或成本最佳化的作業列表,本次主要是針對“SQL周期作業持續空輸出或持續全表掃描”。推薦的結果清單將給出最近一次執行的InstanceID(單擊可進入Logview)以及最近一個月持續啟動並執行次數,可以很方便的擷取到需要最佳化的作業資訊,通過資訊輔助判斷是否需要對作業進行最佳化,如持續空輸出是否是無效作業無需運行避免資源浪費;如持續全表掃描是否是因為指令碼遺漏了分區條件需要加上以便減少輸入量減少資源消耗。

2021-03-12

全部地區

MaxCompute管家

02月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute 湖倉一體功能商業化發布

MaxCompute湖倉一體方案通過資料倉儲 MaxCompute、資料湖(Object Storage Service或Hadoop HDFS)共同實現。本次發布兩種構建湖倉一體的方式:

  • 與阿里雲OSS+DLF構建湖倉一體能力:通過MaxCompute和OSS實現。該方式需要配套使用阿里雲產品資料湖構建DLF(Data Lake Formation)。資料湖的中繼資料(Schema)全部位於DLF中。MaxCompute可以利用DLF對湖資料的中繼資料管理能力,提升對OSS半結構化格式(AVRO、CSV、JSON、PARQUET、ORC)資料的處理能力。

  • 與Hadoop HDFS構建湖倉一體能力:通過MaxCompute和Hadoop HDFS(包括本地機房搭建、雲端式上虛擬機器搭建以及阿里雲E-MapReduce等)實現。您需要填寫MaxCompute湖倉一體方案使用申請表,提交申請後,MaxCompute團隊技術人員會聯絡並協助您完成後續操作。

2021-02-26

  • 華北2(北京)

  • 華東2(上海)

  • 華東1(杭州)

MaxCompute湖倉一體概述

MaxCompute支援雲HBase外部表格(公測)

MaxCompute支援通過專用網路串連方案,訪問使用者的雲HBase。使用者完成網路連通和授權,可以建立HBase外部表格,通過Hive提供的HBaseStorageHandler讀寫HBase中的表的資料。使用HBase外部表格,可以同步HBase中的資料到MaxCompute進行後續ETL處理,也可以關聯HBase外部表格進行聯邦計算,或將MaxCompute資料輸出到HBase表。目前讀寫HBase外部表格處於公測階段,不收取計算費用,也暫時不保證SLA。

2021-02-08

  • 華北2(北京)

  • 華東2(上海)

  • 華北3(張家口)

  • 華東1(杭州)

HBase外部表格(HBase標準版或增強版)

MaxCompute命令列支援關閉表頭顯示,便於Shell調用

在Shell(或Windows命令列)執行視窗,使用者可能會需要使用odpscmd -e SQL語句執行得到的動態傳回值,Shell的變數會擷取這個動態傳回值,然後在Shell中執行後續作業。此情境需要傳回值不包含運行資訊、表頭等額外資訊。您可以通過set odps.sql.select.output.format={needHeader:false,fieldDelim:""};關掉表頭顯示,將計算結果stdout部分輸出到目標控制代碼。

2021-02-08

全部地區

使用本地用戶端(odpscmd)串連

MaxCompute外部表格OSS寫入情境能力增強

MaxCompute支援使用OSS的分區上傳(Multipart Upload)功能,在INSERT操作向OSS外部表格寫入資料時,提高寫資料效率。此外MaxCompute寫入到OSS外部表格的資料,會儲存在LOCATION目錄下的.odps檔案夾中,並維護了一個.meta檔案,用於保證MaxCompute資料的一致性。.odps檔案夾中的內容只有MaxCompute能正確處理,其他引擎讀取可能報錯。MaxCompute新增 odps.sql.unstructured.oss.commit.mode屬性,設定為true時(預設為false),MaxCompute使用分區上傳功能,且以two-phase commit的方式保證資料的一致性,同時也不會有.odps目錄以及.meta檔案,以便相容其他資料處理引擎讀取。

2021-02-08

全部地區

將資料寫入OSS

MaxCompute外部表格Hive相容模式支援使用者自訂Serde類

MaxCompute提供了相容Hive Serde介面處理開源格式資料的能力,並對各種常見的資料格式都有內建的預設的Serde Class進行處理。如果使用者有資料格式要指定自訂的ROW FORMAT SERDE,在建外部表格的時候需要指定依賴的資源,添加JAR包,並在建表時定義using jar的方式,使用自訂的Serde類實現外部表格對特殊資料格式的相容。

2021-02-08

全部地區

支援開源格式資料

MaxCompute內建函數新增或增強

變更點如下:

  • 增強日期函數date、datediff、datepart、datetrunc對DATE、TIMESTAMP日期資料類型的支援。

  • 新增字串函數parse_url對URL進行解析;新增base64和unbase64函數實現二進位和BASE64格式字串互轉。

  • 彙總函式增加過濾條件運算式支援,可以對select子句中某個彙總函式指定過濾條件,便於您在同一個彙總語句中單獨控制某個彙總函式的資料範圍。新增count_if函數對滿足if條件的記錄進行計數。

  • 其他函數新增stack,將指定資料分隔為n行,相容Hive和Spark SQL函數用法。新增get_user_id擷取當前帳號的帳號ID。新增array_intersect,用於計算兩個array的交集。sort_array增加isAsc參數,對給定數組排序時讓使用者選擇是升序還是降序,預設是升序。

2021-02-08

全部地區

MaxCompute推出Freeride及Analyze兩種最佳化器中繼資料收集工具

MaxCompute目前提供兩種方式收集表的中繼資料:

  • 非同步收集(Analyze):需要您通過命令對錶進行主動、非同步收集。掃描表資料會產生計費。

  • 同步收集(Freeride):需要您在create table ... as ...或insert語句前設定運行參數,配置收集計劃啟用Freeride功能,在資料產生的同時,自動收集列統計資訊。這種方式更加自動化,但對查詢時延有影響。

2021-02-08

全部地區

最佳化器

MaxCompute支援RDS外部表格(公測)

MaxCompute支援通過專用網路串連方案,訪問使用者的RDS。使用者完成網路連通和授權,可以建立RDS外部表格並讀寫RDS中的資料。使用RDS外部表格,使用者可以同步RDS中的資料(例如維度資料、業務資料)到MaxCompute進行後續ETL處理,也可以關聯RDS外部表格進行聯邦計算,或將MaxCompute資料輸出到RDS資料庫。當前讀寫RDS外部表格處於公測階段,不收取計算費用,也暫時不保證SLA。

2021-02-08

全部地區

RDS MySQL外部表格

MaxCompute外部表格支援通過JDBC方式讀寫MC-Hologres(公測)

MaxCompute外部表格支援使用資料庫JDBC驅動機制訪問MC-Hologres資料來源資料。您可以使用在MaxCompute上建立MC-Hologres外部表格的方式,基於PostgreSQL JDBC驅動查詢MC-Hologres資料來源的資料。該方式無冗餘儲存,無需匯入匯出資料,可實現快速擷取查詢結果。當前讀寫MC-Hologres外部表格處於公測階段,不收取計算費用,也暫時不保證SLA。

2021-02-08

全部地區

Hologres外部表格

MaxCompute支援通過UNLOAD命令把資料匯出到OSS外部儲存

MaxCompute支援通過UNLOAD命令匯出資料到OSS,方便使用者使用OSS儲存結構化資料,並方便使用者使用OSS上其他計算引擎處理和分析MaxCompute匯出的資料。

2021-02-08

全部地區

UNLOAD

MaxCompute SQLML功能商業化發布

MaxCompute SQLML可以讓資料工程師、分析師和資料科學家使用SQL語言在MaxCompute中建立、訓練和應用機器學習模型,使SQL從業人員利用現有的SQL工具和技能就能應用機器學習的能力,同時無需做資料移轉,實現機器學習的普惠。

2021-02-01

全部地區

01月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute儲存服務單價調整

自2021年1月10日起,MaxCompute資料存放區服務由階梯定價調整為固定定價,新定價將降低中小資料規模客戶的MaxCompute儲存成本:MaxCompute儲存由梯度定價調整為統一定價:0.018 USD/GB/月(即0.0006 USD/GB/天)。

2021-01-10

全部地區

儲存費用

2020年

12月

功能名稱

功能描述

發布時間

發布地區

相關文檔

建立Project預設提供Information Schema服務

建立的Project,無需管理員手動安裝,預設自動提供Information Schema中繼資料服務,便於使用者查看使用。

2020-12-21

所有地區

專案層級Information Schema

運行中作業快照Information_Schema.Tasks內測發布

以Information_Schema.Tasks視圖方式,提供當前運行中作業的詳細資料,包括作業列表以及各作業CPU、記憶體使用量大小和資源佔比、運行時間長度等資訊。通過該視圖,使用人員可以快速定位已耗用時間較長的慢作業、資源消耗高的大作業,從而有針對性地進行作業最佳化或資源容量規劃。

2020-12-08

無。

中繼資料視圖列表

查詢編輯器支援查詢加速提升資料分析能力

MaxCompute資料分析查詢模式原先是離線模式,此次發布查詢模式支援MaxCompute查詢加速,對於中、小資料量查詢作業將執行時間從分鐘級縮減至秒級,即查速度上提升至秒級。 通過MaxCompute查詢編輯器發起查詢SQL,會優先通過查詢加速進行查詢。若滿足查詢加速要求,則秒級返回結果;若不滿足查詢加速條件,則會回退至離線查詢模式,保障查詢作業正常執行。結合資料分析的豐富的Web-Excel分析功能,資料分析師可以通過MaxCompute資料分析一站式快速進行資料查詢、結果二次分析、分享。MaxCompute查詢加速功能主要支援隨用隨付資源,若專案使用訂用帳戶資源,暫時無法滿足查詢加速要求。

2020-12-05

所有地區

使用DataWorks串連

11月

功能名稱

功能描述

發布時間

發布地區

相關文檔

MaxCompute支援訊息佇列Kafka版通過Connector持續匯入資料

MaxCompute與訊息佇列Kafka版服務緊密整合,藉助訊息佇列Kafka版服務的MaxCompute Sink Connector,無需第三方工具及二次開發,即可滿足將指定Topic資料持續匯入MaxCompute資料表的需求。極大簡化Kafka訊息佇列資料進入MaxCompute的整合鏈路,並顯著降低開發和營運成本。

2020-11-27

全部地區

使用Kafka(離線與即時)

MaxCompute支援以RAM角色身份訪問使用服務

MaxCompute專案空間在雲帳號、RAM使用者基礎上,增加對RAM角色的支援。管理員可添加RAM角色到專案空間並對RAM角色賦權,通過STS認證方式登入訪問服務,實現無AccessKey認證的安全訪問需求。MaxCompute Web控制台支援以STS訪問認證,使用RAM角色在Web控制台操作訪問MaxCompute專案空間,進行資料分析、資料開發。

2020-11-24

全部地區

使用者認證

06月

功能名稱

功能描述

發布時間

發布地區

相關文檔

新增專案支援選擇資料類型版本

通過MaxCompute建立新專案時,您需要指定初始化資料類型版本。

2020-06-30

全部地區

資料類型版本說明

04月

功能名稱

功能描述

發布時間

發布地區

相關文檔

Policy支援GRANT方式授權

MaxCompute支援通過GRANT命令實現Policy授權,授權操作更加便捷。

2020-04-23

全部地區

Policy許可權控制

升級MaxCompute管家

MaxCompute管家強化CU資源監控管理、提升作業查看和管理的易用性,方便您管理計算資源。

2020-04-13

全部地區

MaxCompute管家

03月

功能名稱

功能描述

發布時間

發布地區

相關文檔

新增5個內建函數

MaxCompute新增5個內建函數:TABLE_EXISTS()、PARTITION_EXISTS()、MUMERIC_HISTOGRAM()、PERCENTILE_APPROX()和FORMAT_NUMBER()。

2020-03-17

全部地區

02月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援取消表的生命週期

您可以通過DISABLE LIFECYCLE參數,取消表的生命週期。

2020-02-26

全部地區

生命週期操作

新增CLONE TABLE命令

CLONE TABLE可以複製表資料到另一個表。

2020-02-26

全部地區

CLONE TABLE

升級GROUPING SETS

MaxCompute擴充GROUPING SETS,支援CUBE、ROLLUP和GROUPING SETS嵌套使用。

2020-02-26

全部地區

GROUPING SETS

支援通過HTTPS擷取外部表格資料

如果需要底層通過HTTPS擷取資料,您可以將命令set odps.sql.unstructured.data.oss.use.https=true;與SQL語句一起提交執行。

2020-02-26

全部地區

ORC外部表格

外部表格支援MSCK REPAIR TABLE文法

MaxCompute支援根據資料所在的OSS檔案路徑自動補全外部表格分區。

2020-02-26

全部地區

ORC外部表格

01月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援DATE和CHAR資料類型

您可以通過開啟MaxCompute資料類型2.0,在建立或讀取表的資料時,使用DATE和CHAR資料類型。

2020-01-03

全部地區

資料類型版本說明

2019年

12月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援開源地理空間UDF

您可以通過開源地理空間UDF分析空間資料。

2019-12-25

全部地區

UDF(地理空間)

11月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援通過Tableau串連MaxCompute

您可以通過MaxCompute JDBC驅動,使用Tableau對MaxCompute上的資料進行可視化分析。

2019-11-18

全部地區

配置JDBC使用Tableau

新增MaxCompute JDBC驅動

MaxCompute JDBC驅動是MaxCompute提供的Java資料庫連接(Java Database Connectivity)介面。您可以通過標準的JDBC介面基於MaxCompute執行海量資料的分散式運算查詢。

2019-11-18

全部地區

JDBC概述

10月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援一次增加或刪除多個分區

MaxCompute的DDL語義升級,支援一次增加或刪除多個分區的操作。您可以執行批量的分區管理操作,提升資料倉儲管理效率。

2019-10-28

全部地區

公告

支援新運算子

新增IS [NOT] DISTINCT FROM和字串串連操作符||。

2019-10-28

全部地區

公告

支援NATURAL JOIN

支援自然串連NATURAL JOIN,提升MaxCompute SQL引擎的JOIN能力。

2019-10-28

全部地區

JOIN

支援指定表的列預設值

您建立表時可以指定列的預設值。

2019-10-28

全部地區

公告

支援LIMIT OFFSET

支援LIMIT OFFSET,提升MaxCompute SQL引擎能力。

2019-10-28

全部地區

SELECT文法

支援odps.sql.orderby.position.alias以及odps.sql.groupby.position.alias

支援odps.sql.orderby.position.alias以及odps.sql.groupby.position.alias,對應ORDER BY和GROUP BY中的整型常量被當做SELECT的列序號處理。

2019-10-28

全部地區

SELECT文法

新增內建函數JSON_TUPLE()和EXTRACT()

新增內建函數JSON_TUPLE()和EXTRACT(),提升SQL處理能力。

2019-10-28

全部地區

支援通過括弧指定JOIN的優先順序

支援通過括弧指定JOIN的優先順序。

2019-10-28

全部地區

JOIN

支援合并分區

如果分區數量多,您可以通過合并資料分割函數,對資料進行歸檔。

2019-10-28

全部地區

分區操作

09月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援中繼資料服務

MaxCompute的Information Schema提供了專案中繼資料及使用歷史資料等資訊。

2019-09-06

全部地區

Information Schema概述

儲存降價

MaxCompute儲存計費於2019年9月1日進行降價,原5個階梯價調整為3個階梯價,同時階梯單價向下調整。

2019-09-01

全部地區

無。

07月

功能名稱

功能描述

發布時間

發布地區

相關文檔

支援Spark服務

Spark on MaxCompute是MaxCompute提供的相容開源Spark的計算服務。它在統一的計算資源和資料集許可權體系之上,提供Spark計算架構,支援您以熟悉的開發使用方式提交運行Spark作業,滿足更豐富的資料處理分析需求。

2019-07-23

全部地區

概述

新增西南(成都)地區

MaxCompute服務在西南(成都)地區開通。

2019-07-04

西南(成都)

無。

06月

功能名稱

功能描述

發布時間

發布地區

相關文檔

UDT支援擷取ExecutionContext對象

UDT可以擷取 ExecutionContext對象從而訪問當前的execution context。

2019-06-25

全部地區

UDT概述

UDT支援函數重載

UDT支援泛型、類繼承和變長參數,為您提供靈活的函數定義方式。

2019-06-25

全部地區

UDT概述

UDTF和UDAF支援動態參數

UDAF和UDTF支援動態參數,擴充Resolve註解的文法,使UDF的開發更加靈活。

2019-06-24

全部地區

UDAF和UDTF動態參數說明

UDF支援分區裁剪

UDF支援分區裁剪,為您降低計算成本。

2019-06-24

全部地區

無。

參數化視圖

參數化視圖支援傳入任意表或者其它變數,定製視圖。

2019-06-24

全部地區

參數化視圖

支援產生建表DDL語句

您可以通過SHOW CREATE TABLE語句產生建立表的SQL DDL語句,方便通過SQL重建Schema。

2019-06-24

全部地區

表操作

支援配置訂用帳戶作業消費監控警示

您可以在阿里雲的CloudMonitor服務中配置監控警示,監測訂用帳戶作業消費情況。

2019-06-21

全部地區

監控警示