全部產品
Search
文件中心

MaxCompute:版本發布說明

更新時間:Apr 30, 2026

MaxFrame版本發布說明。

2026年04月

2026年04月MaxFrame新增功能如下:

重要

重大版本更新,請及時升級用戶端 MaxFrame SDK 至 2.6.0 及以上版本。

  • 支援全部地區。

  • 發布時間:北京時間2026年4月28日。

DataFrameGroupBy.mf.apply_chunk 行為變更

功能描述

MaxFrame SDK 自 2.6 版本起,變更DataFrameGroupBy.mf.apply_chunk方法的行為,主要涉及 Index 參數簡化及 DPE 與 MaxCompute SQL 引擎間的行為統一。新行為通過prepend_index_group_keys參數控制,當前預設為False以保持相容,未來版本將切換為True

  • MaxFrame SDK 2.6之前版本

    MaxFrame DataFrameGroupBy.mf.apply_chunk需要在index參數中指定輸出DataFrame的完整Index形態,例如

    def process(df):
        df = df.copy()
        df["total"] += 1
        return df
    
    # 2.5及之前的版本需要指定返回的所有欄位,其中year為groupby中指定的group keys
    expect_index = pd.MultiIndex.from_tuples([(0, 0)], names=["year", None])
    
    md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
        process,
        batch_rows=10,
        dtypes=result_dtypes,
        index=expect_index,
        output_type="dataframe",
        skip_infer=True
    )

    與此同時,由於實現的問題,MaxFrame DPE引擎中使用者函數接受的列會包含group keys,而MaxCompute SQL引擎中使用者函數接受的列不包含group keys。

  • MaxFrame SDK 2.6及之後版本

    上面的例子將被改寫為

    def process(df):
        df = df.copy()
        df["total"] += 1
        return df
        
    md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
        process,
        batch_rows=10,
        dtypes=result_dtypes,
        skip_infer=True,
        prepend_index_group_keys=True,
    )

    其中,prepend_index_group_keys參數填寫為True表示採用新行為。在此行為中,DPE與MaxCompute SQL引擎中函數接受的輸入DataFrame都將預設不包括group keys。與此同時,apply_chunk傳入的index參數僅表示使用者函數輸出的index類型而不是apply_chunk方法輸出對象的Index,與最終Index的關係取決於groupby函數的參數,具體如下:

    參數

    group_keys=True(預設)

    group_keys=False

    as_index=True(預設)

    在使用者Index前追加輸入的分組列作為Index

    不追加任何列為Index

    as_index=False

    在使用者Index前追加Group ID作為Index(僅限DPE)

遷移方法:

groupby.mf.apply_chunk調用增加prepend_index_group_keys=True參數,並執行下列更改:

  1. 如果有index參數輸入,從中刪除group keys。例如,從pd.MultiIndex.from_tuples([(0, 0)], names=["year", None])改為pd.Index([0])。如果自訂函數中未更改Index類型,可以刪除index參數的定義;

  2. 如果在MaxFrame DPE引擎中使用groupby.mf.apply_chunk,需要檢查自訂函數。如果函數中包含對分組列的引用,或者輸出中未濾出分組列,要手動在groupby後加入對分組列的引用,以避免該列從自訂函數輸入中被排除。例如,將df.groupby("col").mf.apply_chunk(func)更改為df.groupby("col")[list(df.dtypes.index)].mf.apply_chunk(func)

MaxFrame Coding Skill

功能描述

MaxFrame Coding Skill 正式發布,全面賦能 AI Agent 實現智能化 MaxFrame 作業開發。該技能套件支援 MaxFrame 會話管理、運算元推薦、代碼產生與互動式調試等核心能力,協助開發人員在 MaxFrame 上高效構建大規模資料處理流程。

通過 AI Agent 可自動完成從資料讀取、資料處理到結果寫入的端到端作業編排,結合 MaxFrame 順延強制與資源清理機制,確保作業穩定與效能最佳化。通過自然語言描述需求即可產生可運行代碼,顯著降低分布式資料處理門檻,真正實現 Data + AI 無縫融合的一站式開發體驗。

詳情參見:MaxFrame Coding Skill

MaxFrame AI Function 功能增強

功能描述

  • 新增支援阿里雲百鍊商業化大模型(qwen3-max、text-embedding-v4)。

  • 提供按 Token 計費模式(隨用隨付),進一步降低大模型離線推理的使用門檻與成本。

無需關心模型部署與營運,只需通過簡單的 AI Function 介面即可調用百鍊平台豐富的模型資源,實現海量資料批量推理,同時結合 MaxFrame 海量資料分散式處理能力,完成 Data+AI 一站式開發。

詳情參見:MaxFrame AI Function

MaxFrame 新增多模態資料處理運算元模組

功能描述

為滿足日益增長的多模態資料處理需求,MaxFrame 新增多模態資料處理運算元模組。本次新增內建圖片處理相關運算元,支援海量映像資料的分散式處理。

  • 提供image.decode解碼運算元;

  • 提供image.widthimage.heightimage.sizeimage.modeimage.format等屬性提取運算元;

  • 支援一站式完成映像解碼、屬性擷取、尺寸過濾、縮放裁剪及格式轉換等操作。

無需搭建獨立的影像處理服務,即可在 MaxFrame DataFrame 中高效完成映像資料的清洗與預先處理工作。

MaxFrame 新增本地化調試功能

功能描述

MaxFrame 新增本地偵錯模式(Local Debug Mode)。在傳統 MaxFrame UDF 開發流程中,調試apply()apply_chunk()等函數時,需要將代碼提交到遠程叢集環境執行,且每次修改後需重新提交遠程運行。

本地偵錯模式具備以下優勢:

  • 開啟本地偵錯模式後,MaxFrame UDF 函數支援在本地 Python 環境中直接執行。

  • 支援 IDE 斷點調試,完全離線可用。

  • 同一份代碼可在本地調試和叢集生產環境運行之間無縫切換。

詳情參見:MaxFrame 本地偵錯模式(Local Debug)

MaxFrame DPE 引擎自訂鏡像支援

功能描述

MaxFrame 現已支援在 DPE(分布式 Python 計算引擎)中使用使用者自訂鏡像,滿足特定依賴與運行環境需求。

使用者可通過配置項指定鏡像名稱,例如:{"odps.session.image": "maxframe_image_v1"},即可在 MaxFrame 分散式運算環境中載入使用者預裝特定依賴的運行環境。該功能適用於需要使用使用者自訂鏡像環境,同時無需在每次任務執行時重複安裝依賴,顯著提升任務開發效率及使用靈活度。

詳情參見:自訂鏡像

OSS掛載功能變更

功能描述

MaxFrame 增強 OSS 資料掛載功能,現支援多 OSS Bucket 掛載與路徑首碼配置。通過使用@with_fs_mount裝飾器可以同時掛載多個 OSS Bucket 或同一 Bucket 的不同路徑首碼,靈活適配複雜的資料群組織結構。此外,新增cache_memory_limit參數,支援配置掛載點的記憶體緩衝上限,有效控制資源佔用,提升大規模檔案讀取情境下的效能與穩定性。

詳情參見:OSS掛載功能(邀測)

網路與安全增強

功能描述

MaxFrame DPE 引擎新增對網路訪問白名單配置,用於控制 MaxFrame UDF 執行時的網路存取權限。

相關配置說明:

  • substep.public_network_whitelist:公網訪問白名單,允許訪問外部公網服務(如 API、模型服務)。

  • substep.internal_network_whitelist:內網訪問白名單,允許訪問阿里雲內網服務(如 OSS 內網 Endpoint)。

詳情參見:MaxFrame Flag配置指南

2025年11月

2025年11月MaxFrame新增功能如下:

GU計算資源購買及使用

支援地區

華東1(杭州)、華東2(上海)、華北2(北京)、華北6(烏蘭察布)、華南1(深圳)

發布時間

北京時間2025年12月30日。

功能描述

  • MaxCompute 新增 AI 計算資源(GPU Units,簡稱GU)計算規格,支援購買獨立 GU 計算資源 Quota 組,可按具體規格需求進行購買、使用。官網公告:MaxCompute AI計算資源正式商業化

  • MaxFrame新增maxframe.udf.with_running_options介面,增加對GPU資源調度功能,為MaxFrame UDF(使用者自訂函數)提供了精細化的GPU資源管理能力。通過指定GU(GPU單元數)和gu_quota(GPU資源配額)參數,可以實現動態控制計算任務對GPU資源的使用比例和優先順序,實現異構計算資源的智能分配。

  • 在典型應用情境中,該功能可應用於多模態資料預先處理等計算密集型作業。通過GPU加速,顯著縮短資料處理耗時,實現作業迭代效率的指數級提升。

詳情參考:購買與使用MaxCompute AI計算資源

MaxFrame AI Function 功能擴充

支援地區

華東1(杭州)、華東2(上海)、華北2(北京)、華北6(烏蘭察布)、華南1(深圳)

發布時間

北京時間2025年12月30日。

功能描述

  • 模型整合:通過 MaxFrame AI Function 功能實現大模型與MaxCompute深度整合,提供開箱即用的Qwen 3系列、DeepSeek等主流模型及自訂模型託管能力,同時支援AI Function On GU版本,支援更多尺寸模型,提升離線推理效率。

  • 介面整合:

    • 支援generate介面自訂Prompt模板,靈活完成大模型開發、調用任務;

    • 內建translate(翻譯)extract(結構化抽取)embedding(向量化)等預設任務介面,簡化常用大模型情境調用;

    • 依託MaxCompute彈性資源,實現離線高並發大模型推理。

  • 結合DataFrame API與Python生態,使用者可以在MaxCompute實現資料清洗、處理、AI推理全流程一體化處理,降低大模型部署成本,滿足海量結構化、非結構化資料的離線處理需求,適用於多模態資料處理、大模型離線推理等典型情境。

詳情參考:MaxFrame AI Function

MaxFrame 支援「OSS 掛載」功能(邀測)

支援地區

華東1(杭州)、華東2(上海)、華北2(北京)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、印尼(雅加達)、德國(法蘭克福)、美國(矽谷)、美國(維吉尼亞)、杭州金融雲。

發布時間

北京時間2025年12月30日。

功能描述

MaxFrame新增OSS掛載能力,實現OSSBucket與MaxCompute本地檔案系統的無縫映射。

可通過聲明式配置@with_fs_mount定義掛載路徑,以類POSIX 介面操作OSS 資料,規避傳統 SDK 開發模式的複雜編碼需求。

詳情參考:OSS掛載功能(邀測)

MaxFrame 新增 DataFrame 、Series 等 API 支援

支援地區

華東1(杭州)、華東2(上海)、華北2(北京)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、印尼(雅加達)、德國(法蘭克福)、美國(矽谷)、美國(維吉尼亞)、杭州金融雲。

發布時間

北京時間2025年12月30日。

功能描述

  • 新增處理數值資料API:to_numeric

  • 新增DataFrame GroupBy API

  • 新增索引API:

    • Index.get_level_values

    • Index.to_series

  • 新增MaxFrame擴充API:

    • 索引值收集:DataFrame.mf.collect_kv

    • 索引值提取:DataFrame.mf.extract_kv

    • 映射歸約:DataFrame.mf.map_reduce

    • 資料重新平衡:DataFrame.mf.rebalance

  • 新增Sklearn評估指標API

  • 新增MaxFrame tensor API:

  • 覆蓋以下10大類數學運算:

    • 快速傅裡葉變換(FFT)

    • 索引操作(Indexing)

    • 線性代數(Linalg)

    • 資料操作(Manipulation)

    • 數學函數(Math)

    • 常規操作(Routines)

    • 排序演算法(Sorting)

    • 特殊函數(Special)

    • 統計計算(Statistics)

詳情參考:MaxFrame特有API

2025年07月

2025年07月MaxFrame新增功能如下:

支援作業“部分提交”功能

支援地區

全部地區

發布時間

北京時間2025年7月17日。

功能描述

對整體作業允許小範圍的忽略和丟失,即使在作業失敗的情況下也可獲得已成功啟動並執行Fuxi Instances結果資料。

詳情參考:MaxFrame作業部分提交功能​。

AI Function新增內建大模型

支援地區

全部地區

發布時間

北京時間2025年7月17日。

功能描述

MaxFrame AI Function新增內建Qwen 3系列模型,Qwen3-0.6B~Qwen3-14B。​

詳情參考:MaxFrame AI Function

支援Worker層級CPU、記憶體監控

支援地區

全部地區

發布時間

北京時間2025年7月17日。

功能描述

支援通過Fuxi Sensor查看具體某一Worker的CPU及記憶體的實際消耗量。​

詳情參考:Fuxi Sensor