MaxFrame exécute des tâches basées sur GPU sur MaxCompute via un quota GU (GPU Unit), ce qui permet le traitement distribué de données multimodales et l'inférence de modèles à grande échelle avec Python.
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Un projet MaxCompute avec un quota GU attribué
MaxFrame installé et configuré
Pour plus d'informations sur l'achat de ressources GU, consultez la rubrique Ressources de calcul IA MaxCompute.
Définir la priorité du moteur
Le moteur Python distribué (DPE) est le moteur de calcul qui gère les charges de travail GPU dans MaxFrame. Les unités GU conviennent aux scénarios tels que l'inférence en apprentissage profond, le traitement d'images et audio, ainsi que l'inférence hors ligne pour les grands modèles de langage (LLM).
Pour acheminer les tâches GPU vers le DPE, placez "DPE" en premier dans engine_order :
from maxframe.config import options
options.dag.settings = {
"engine_order": ["DPE", "MCSQL"]
}Configurer les ressources GU
Deux méthodes sont disponibles. Choisissez celle qui correspond à votre cas d'utilisation :
|
Méthode 1 : Quota au niveau de la session |
Méthode 2 : Paramètres au niveau de l'UDF |
|
|
Portée |
S'applique automatiquement aux fonctions IA MaxFrame |
S'applique à une UDF spécifique |
|
Prise en charge des UDF |
Nécessite une substitution manuelle pour les UDF classiques |
Entièrement pris en charge |
|
Cas d'utilisation |
Exécution de fonctions IA MaxFrame |
Exécution d'UDF personnalisées nécessitant des ressources GPU |
Méthode 1 : Définir un quota GU au niveau de la session
options.session.gu_quota_name = "xxxxxx" # GU Quota nameLe quota GU au niveau de la session prend effet automatiquement uniquement pour les fonctions IA MaxFrame. Pour les UDF classiques, définissez les paramètres GU au niveau de l'UDF (Méthode 2).
Méthode 2 : Définir les paramètres GU au niveau de l'UDF
@with_running_options(engine="dpe", gu=8, gu_quota="xxxxx")
def vad_call(batch, config_path: str):
...|
Paramètre |
Description |
|
|
Achemine l'UDF vers le DPE pour l'exécution sur GPU |
|
|
Alloue 8 GU (8 cartes) à chaque instance |
|
|
Spécifie le groupe de quotas GU à utiliser |