O PAI acelera o treinamento e a inferência de IA por meio de cache de conjuntos de dados, treinamento distribuído e ferramentas de otimização de modelos.
Ferramentas de aceleração
O PAI oferece ferramentas de aceleração para cada etapa do fluxo de trabalho de IA:
|
Ferramenta |
Estágio |
Descrição |
|
EPL |
Treinamento |
Framework de treinamento distribuído em larga escala para TensorFlow. Compatível com paralelismo de dados, divisão de operadores, pipeline e paralelismo automático. |
|
Pai-Megatron-Patch |
Treinamento |
Acelera o treinamento de Transformers no PyTorch ao integrar técnicas de otimização com bibliotecas de modelos Transformer. |
|
PAI-Blade |
Inferência |
Otimização de inferência de uso geral para TensorFlow e PyTorch em GPUs, CPUs e dispositivos de borda. Aplica otimização de grafos, otimização de compilador de IA, precisão mista e compressão automática por meio de uma única chamada de API. |
|
BladeLLM |
Inferência |
Mecanismo de inferência de alto desempenho para modelos de linguagem de grande porte (LLMs). Otimiza a implantação com quantização de modelo, processamento em lote eficiente e gerenciamento de memória da GPU. |
|
Aceleração de cache local |
Carregamento de dados |
Armazena conjuntos de dados em cache nos nós de computação Lingjun para eliminar leituras repetidas do armazenamento remoto durante o treinamento com múltiplas épocas. Compatível com armazenamento OSS e CPFS. |
Primeiros passos
Escolha uma ferramenta com base no seu objetivo de otimização.
-
EPL
Framework de treinamento distribuído para TensorFlow com paralelismo automático. EPL for distributed training acceleration.
-
Pai-Megatron-Patch
Otimiza o treinamento de Transformers no PyTorch com opções de aceleração. Transformer training acceleration (Pai-Megatron-Patch).
-
PAI-Blade
Otimização de inferência de uso geral que combina otimização de grafos, precisão mista e compressão. Inference acceleration (Blade) overview.
-
BladeLLM
Mecanismo de inferência de LLM de alto desempenho com quantização e processamento em lote eficiente. LLM inference engine (BladeLLM).
-
Aceleração de cache local
Armazena conjuntos de dados em cache nos nós de computação Lingjun para acelerar o treinamento com múltiplas épocas. Local cache acceleration.
Tutoriais práticos: AI acceleration use cases.