PAI accélère l'entraînement et l'inférence IA grâce à la mise en cache des jeux de données, à l'entraînement distribué et aux outils d'optimisation de modèles.
Outils d'accélération
PAI propose des outils d'accélération pour chaque étape du flux de travail IA :
|
Outil |
Étape |
Description |
|
EPL |
Entraînement |
Cadre d'entraînement distribué à grande échelle pour TensorFlow. Il prend en charge le parallélisme des données, le fractionnement des opérateurs, le pipeline et le parallélisme automatique. |
|
Pai-Megatron-Patch |
Entraînement |
Accélère l'entraînement des Transformers PyTorch en intégrant des techniques d'optimisation aux bibliothèques de modèles Transformer. |
|
PAI-Blade |
Inférence |
Optimisation générique de l'inférence pour TensorFlow et PyTorch sur GPU, CPU et appareils edge. Applique l'optimisation de graphes, l'optimisation par compilateur IA, la précision mixte et la compression automatique via un seul appel API. |
|
BladeLLM |
Inférence |
Moteur d'inférence haute performance pour les grands modèles de langage (LLM). Optimise le déploiement grâce à la quantification des modèles, au traitement par lots efficace et à la gestion de la mémoire GPU. |
|
Accélération par cache local |
Chargement des données |
Met en cache les jeux de données sur les nœuds de calcul Lingjun pour éliminer les lectures répétées du stockage distant lors de l'entraînement multi-époques. Prend en charge le stockage OSS et CPFS. |
Premiers pas
Choisissez un outil en fonction de votre objectif d'optimisation.
-
EPL
Cadre d'entraînement distribué pour TensorFlow avec parallélisme automatique. EPL pour l'accélération de l'entraînement distribué.
-
Pai-Megatron-Patch
Optimise l'entraînement des Transformers PyTorch avec des commutateurs d'accélération. Accélération de l'entraînement des Transformers (Pai-Megatron-Patch).
-
PAI-Blade
Optimisation générique de l'inférence combinant l'optimisation de graphes, la précision mixte et la compression. Vue d'ensemble de l'accélération de l'inférence (Blade).
-
BladeLLM
Moteur d'inférence LLM haute performance avec quantification et traitement par lots efficace. Moteur d'inférence LLM (BladeLLM).
-
Accélération par cache local
Met en cache les jeux de données sur les nœuds de calcul Lingjun pour accélérer l'entraînement multi-époques. Accélération par cache local.
Tutoriels pratiques : Cas d'utilisation de l'accélération IA.