本文介紹MaxFrame GU資源使用方式及開發實踐。結合MaxFrame和GU Quota可以在MaxCompute上運行基於GPU的多模態資料處理、模型推理等任務。
功能介紹
MaxFrame是阿里雲MaxCompute提供的一個基於Python編程介面的分散式運算架構，解決了傳統Python資料處理中效能瓶頸和低效資料移動的兩個難題。 MaxFrame可以直接在MaxCompute上實現TB/PB級巨量資料的分散式處理與分析，執行可視化資料探索分析、科學計算、機器學習及AI開發等工作，從而滿足使用者在Python生態中日益增長的高效巨量資料處理和AI開發需求。
GU：即GPU Unit。阿里雲MaxCompute中用於運行 GPU 計算任務的計算單元，適合深度學習推理、映像/音頻處理、大模型離線推理等情境。詳情參考MaxCompute AI計算資源。
配置項
設定 MaxFrame 預設執行引擎優先順序
DPE（Distributed Python Engine）：分布式 Python 計算引擎，支援 GPU。必須將 "DPE" 放在 engine_order 首位，確保 GPU 任務調度到 DPE。
from maxframe.config import options
options.dag.settings = {
"engine_order": ["DPE", "MCSQL"]
}使用 GU 資源
方式一：全域會話級指定 GU Quota
全域會話級 GU Quota 僅對 MaxFrame AI Function 預設生效，普通 UDF 若需使用 GU Quota 需手動指定。
options.session.gu_quota_name = "xxxxxx" # GU Quota方式二：UDF 函數級指定 GU 參數
@with_running_options(engine="dpe", gu=8, gu_quota="xxxxx") def vad_call(batch, config_path: str): ...engine="dpe"：指定使用 DPE 引擎。gu=8：每個執行個體分配 8GU（8 卡）。gu_quota="os_xxxx"：指定具體可用的 GU Quota 組。