Todos os produtos
Search

Este produto

    Platform For AI:Deploy MoE models with expert parallelism

    Central de documentação

    Platform For AI:Deploy MoE models with expert parallelism

    Última atualização: Sep 22, 2026

    Implante modelos MoE no EAS com paralelismo de especialistas (EP) e separação Prefill-Decode (PD) para obter maior throughput e custos reduzidos.

    Arquitetura

    O PAI EAS combina separação PD, EP em larga escala, co-otimização de computação e comunicação, além de MTP para implantações EP em nível de produção.

    image.png

    Principais benefícios:

    • Implantação com um clique em: os modelos EP do EAS incluem imagens integradas, recursos opcionais e comandos de execução para implantação distribuída baseada em assistente.

    • Gerenciamento unificado de service: monitore, dimensione e gerencie os sub-service Prefill, Decode e LLM intelligent router de forma independente a partir de uma única visualização.

    Implante o service EP

    O exemplo a seguir implanta o DeepSeek-R1-0528-PAI-optimized, que oferece maior throughput e menor latência.

    1. Faça logon no PAI console. Selecione uma região no topo da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).

    2. Na aba Inference Service, clique em Deploy Service. Na seção Scenario-based Model Deployment, clique em LLM Deployment.

    3. Em Model Settings, selecione o modelo público DeepSeek-R1-0528-PAI-optimized.

      image.png

    1. Defina Inference Engine como vLLM e Deployment Template como EP+PD Separation-PAI Optimized.

      image.png

    2. Configure os recursos de implantação para os service Prefill e Decode. Selecione recursos públicos ou uma cota de recursos.

      • Recursos públicos: indicados para testes e desenvolvimento. Especificações disponíveis: ml.gu8tea.8.48xlarge ou ml.gu8tef.8.46xlarge.image.png

      • Cota de recursos: recomendada para produção, pois garante estabilidade e isolamento de recursos.

        image.png

    3. (Opcional) Ajuste os parâmetros de implantação para otimizar o desempenho.

      • Número de instâncias: ajuste a quantidade de instâncias Prefill e Decode para alterar a proporção PD. Padrão: 1 por service.

      • Parâmetros de paralelismo: ajuste EP_SIZE, DP_SIZE e TP_SIZE para os service Prefill e Decode nas variáveis de ambiente. Valores padrão: TP_SIZE=8 para Prefill, EP_SIZE=8 e DP_SIZE=8 para Decode.

        Nota

        Para proteger os pesos do modelo DeepSeek-R1-0528-PAI-optimized, o comando de execução não fica exposto. Use variáveis de ambiente para modifique os parâmetros principais.

        image.png

    4. Clique em Deploy e aguarde a inicialização do service. A implantação leva aproximadamente 40 minutos.

    5. Após a implantação, acesse a aba Online Debugging na página de detalhes do service para verifique-lo.

      Nota

      O acesso via API e a integração com ferramentas de terceiros são abordados em Call an LLM service.

      Monte uma requisição no formato OpenAI. Adicione /v1/chat/completions ao caminho da URL. Exemplo de corpo da requisição:

      {
    "model": "",
    "messages": [
        {
            "role": "user",
            "content": "Hello!"
        }
    ],
    "max_tokens": 1024
}

      Clique em Send Request. Um código de status 200 com uma resposta válida do modelo confirma que o service está em execução.

      image.png

    Gerencie o service EP

    1. Na página de listagem de service, clique em um nome de service para abrir a página de detalhes. Essa página oferece visualizações do service agregado e dos sub-service individuais (Prefill, Decode e LLM intelligent router).

      image.png

    2. Visualize dados de monitoramento e logs, e configure políticas de Auto Scaling.

      image.png