O MaxFrame executa tarefas baseadas em GPU no MaxCompute por meio da Cota de GPU (GPU Unit), permitindo o processamento distribuído de dados multimodais e a inferência de modelos em escala com Python.
Pré-requisitos
Antes de começar, verifique se você tem:
Um projeto do MaxCompute com uma Cota de GPU atribuída
MaxFrame instalado e configurado
Para obter informações sobre a compra de recursos GPU, consulte Recursos de computação de IA do MaxCompute.
Defina a prioridade do mecanismo
O Distributed Python Engine (DPE) é o mecanismo de computação que gerencia cargas de trabalho de GPU no MaxFrame. As GPUs são adequadas para cenários como inferência de deep learning, processamento de imagem e áudio e inferência offline para Large Language Models (LLMs).
Para direcionar tarefas de GPU ao DPE, coloque "DPE" como primeiro item em engine_order:
from maxframe.config import options
options.dag.settings = {
"engine_order": ["DPE", "MCSQL"]
}Configure os recursos GPU
Há dois métodos disponíveis. Escolha conforme seu caso de uso:
|
Método 1: Cota no nível da sessão |
Método 2: Parâmetros no nível da UDF |
|
|
Escopo |
Aplica-se automaticamente às Funções de IA do MaxFrame |
Aplica-se a uma UDF específica |
|
Suporte a UDF |
Requer substituição manual para UDFs comuns |
Totalmente compatível |
|
Indicado quando |
Executar Funções de IA do MaxFrame |
Executar UDFs personalizadas que exigem recursos de GPU |
Método 1: Defina uma Cota de GPU no nível da sessão
options.session.gu_quota_name = "xxxxxx" # GU Quota nameA Cota de GPU no nível da sessão entra em vigor automaticamente apenas para as Funções de IA do MaxFrame. Para UDFs comuns, defina os parâmetros de GPU no nível da UDF (Método 2).
Método 2: Defina parâmetros de GPU no nível da UDF
@with_running_options(engine="dpe", gu=8, gu_quota="xxxxx")
def vad_call(batch, config_path: str):
...|
Parâmetro |
Descrição |
|
|
Direciona a UDF para o DPE para execução em GPU |
|
|
Aloca 8 GPUs (8 placas) para cada instância |
|
|
Especifica o grupo de Cota de GPU a ser usado |