Platform For AI:Deploy DeepSeek-V4 and DeepSeek-R1

Componentes principais

A solução é construída na plataforma PAI e consiste nos seguintes componentes principais:

• Model Gallery: ponto de entrada para distribuição e implantação de modelos, que fornece modelos DeepSeek predefinidos e configurações de implantação.

• Elastic Algorithm Service (EAS): o service principal que hospeda a implantação e a inferência de modelos. Ele gerencia automaticamente os recursos de computação subjacentes, como GPUs, e inicia instâncias de service de modelo.

• Mecanismos de aceleração de inferência (SGLang/vLLM/BladeLLM): otimizam o desempenho da inferência do modelo.

  • SGLang/vLLM: fornece interfaces totalmente compatíveis com a API OpenAI para migrar aplicações existentes.

  • BladeLLM: framework de inferência de alto desempenho desenvolvido internamente, que oferece melhor desempenho em cenários específicos.

• API gateway: fornece um canal seguro para acessar os services de modelo. Você pode chamar os services usando o endpoint e o token do service.

Método de implantação

Para modelos de grande escala, além da implantação em nó único, o Model Gallery também oferece soluções de implantação com um clique, como {{XREF_0}} e {{XREF_1}}.

Por exemplo, tanto o DeepSeek-V4-Pro-FP8 quanto o DeepSeek-V4-Flash-FP8 podem ser implantados usando o método de separação EP+PD.

Etapa 1: Implantar o service de modelo

1. Faça logon no PAI console e selecione a região de destino no canto superior esquerdo. No painel de navegação à esquerda, acesse Workspaces e selecione o workspace de destino.

2. No workspace, acesse QuickStart > Model Gallery.

3. Pesquise e selecione o modelo de destino na lista de modelos, como DeepSeek-R1-Distill-Qwen-7B, e clique em no cartão do modelo para acessar a página de detalhes.

4. Clique em Deploy no canto superior direito da página e configure os seguintes parâmetros.

   • Deployment Template: Por padrão, o tipo de placa é A10, o mecanismo de inferência é o SGLang, o método de implantação é em nó único e o cenário de implantação é balanceado.

   • Deployment Resource: Selecione recursos públicos ou recursos dedicados e selecione uma especificação de GPU adequada com base nos requisitos do modelo.

     • Por padrão, os recursos públicos são usados e uma especificação recomendada é fornecida. Se não houver especificações disponíveis, tente mudar para outra região.

       Importante

       Ao implantar usando recursos públicos, o faturamento começa assim que a instância é provisionada, e as cobranças são baseadas na duração do uso, mesmo que não haja chamadas. Interrompa o service prontamente após os testes.

     • Se você selecionar Resource Quota, certifique-se de escolher um mecanismo de inferência e um modelo de implantação correspondentes com base no tipo de instância. Por exemplo, se você usar o Zhenwu PPU, poderá selecionar SGLang como mecanismo de inferência e PPU-810E como tipo de placa no modelo de implantação.

     Um exemplo de especificação de GPU recomendada é ecs.gn7i-c16g1.4xlarge (16 vCPUs, 60 GiB, 1 × NVIDIA A10), que custa aproximadamente CNY 11,1 por hora.

5. Após confirmar que todas as configurações estão corretas, clique em Deploy. O sistema começa a criar o service.

   Nota

   Para um modelo grande, como o DeepSeek-R1 na versão completa, o processo de carregamento do modelo pode levar de 20 a 30 minutos.

6. Você pode visualizar o status do job de implantação na página Model Gallery > Job Management > Deployment Jobs. Clique em no nome de um service para acessar a página de detalhes do service. Você também pode clicar em More > More Information no canto superior direito para acessar a página de detalhes do service de modelo no PAI-EAS e obter mais informações.

   Na página de detalhes do service, você pode clicar em View Deployment Events ao lado do campo Status para obter mais detalhes, e clicar em View Call Information no campo Call Information para obter o endpoint e o token do service. Você também pode escolher Elastic Algorithm Service (EAS) no painel de navegação à esquerda para acessar a página de gerenciamento de services do EAS.

Etapa 2: Depuração online

Na página Model Gallery > Job Management > Deployment Jobs, clique em no nome do service implantado e mude para a aba Online Debugging, que oferece suporte tanto à Conversation Debugging quanto à API Debugging.

Se apenas a página de depuração de API estiver disponível, o exemplo a seguir mostra como depurar a API de chat de um service de modelo de linguagem grande (LLM):

1. Defina o método e o caminho da requisição: Na aba de depuração, selecione POST como método HTTP e anexe /v1/chat/completions ao endereço para formar a URL completa da requisição <EAS_ENDPOINT>/v1/chat/completions. Na URL, <EAS_ENDPOINT> é o endpoint do service, que geralmente é pré-preenchido. O formato padrão é http://<uid>.<region-id>.pai-eas.aliyuncs.com/api/predict/<service-name>.

   Para services implantados com SGLang/vLLM, você pode encontrar mais APIs compatíveis em <EAS_ENDPOINT>/openapi.json .

2. Construa o corpo da requisição.

   Se o prompt for "What is 3 + 5?", o corpo da requisição é formatado da seguinte maneira.

   O valor do parâmetro do modelo é o nome do modelo obtido na API de lista de modelos <EAS_ENDPOINT>/v1/models. Este exemplo usa o DeepSeek-R1-Distill-Qwen-7B.

   Na seção Body, selecione raw e insira o seguinte corpo de requisição JSON:

3. Envie a requisição.

   Clique em Send Request. A seção Response à direita mostra o código de status 200, e a seção Body exibe a resposta do modelo no formato JSON.

O modelo que você seleciona determina os recursos de computação necessários e os custos de implantação. Os modelos DeepSeek são divididos em modelos de versão completa e modelos de versão destilada, que diferem significativamente nos requisitos de recursos.

• Desenvolvimento e testes: Recomendamos o uso de um modelo de versão destilada, como DeepSeek-R1-Distill-Qwen-7B. Esses modelos têm baixos requisitos de recursos (geralmente uma única GPU com 24 GB de memória de GPU), podem ser implantados rapidamente e com baixo custo, sendo ideais para validação rápida de recursos.

• Ambientes de produção: Avalie tanto o desempenho quanto o custo do modelo. O DeepSeek-R1-Distill-Qwen-32B oferece um bom equilíbrio entre desempenho e custo. Se você precisar de um desempenho de modelo superior, poderá escolher um modelo de versão completa, mas esses modelos exigem várias GPUs de alto desempenho (como 8 GPUs com 96 GB de memória de GPU cada) e aumentam significativamente os custos.

A tabela a seguir lista as configurações mínimas necessárias para diferentes versões de modelos e o número máximo de tokens suportado ao usar diferentes tipos de instância e mecanismos de inferência.

Detalhamento de custos

Para services que usam recursos públicos, o faturamento é calculado por minuto, começando quando a instância é provisionada até que seja interrompida ou excluída. As faturas são liquidadas por hora. As cobranças acumulam mesmo quando o service está ocioso. Interromper o service pausa o faturamento.

Para mais informações, consulte {{XREF_5}}.

Controle de custos

• Limpeza imediata: Após o desenvolvimento e os testes, interrompa ou exclua imediatamente o service para controlar os custos.

• Seleção de modelo adequado: Em ambientes de não produção, priorize modelos de versão destilada de menor custo.

• Uso de recursos preemptíveis: Para tarefas de não produção, você pode ativar o modo {{XREF_6}} durante a implantação. Note que certas condições devem ser atendidas para um lance bem-sucedido, e há risco de instabilidade de recursos.

• Descontos para uso de longo prazo: Para services de produção de longa duração, você pode reduzir custos comprando um plano de economia ou recursos pré-pagos.

Principais riscos

• Custos inesperados: Esquecer de interromper o service resulta em faturamento contínuo. Sempre limpe os recursos imediatamente após o uso.

• Truncamento de saída do BladeLLM: Ao usar o mecanismo BladeLLM, se max_tokens não for especificado na requisição da API, a saída será truncada em 16 tokens, o que pode fazer com que o recurso não funcione conforme o esperado.

• Uso incorreto da API:

  • Ao chamar um modelo da série DeepSeek-R1, incluir um prompt system em messages pode causar comportamentos inesperados.

  • A URL da requisição da API deve terminar com um caminho como /v1/chat/completions. Caso contrário, um erro 404 é retornado.

• Inventário de recursos: Ao implantar modelos grandes (especialmente modelos de versão completa), o inventário de recursos de GPU de alto desempenho em regiões específicas pode estar restrito, causando falhas na implantação ou longos tempos de espera. Tente mudar para outra região.

Escolha do mecanismo de inferência

Service travado em espera

Possíveis causas:

• Recursos de máquina insuficientes na região atual.

• O carregamento do modelo demora muito devido ao seu grande tamanho (20 a 30 minutos para modelos como DeepSeek-R1 e DeepSeek-V3).

Aguarde pacientemente por um tempo. Se o service ainda não iniciar conforme o esperado, recomendamos que você tente as seguintes etapas:

1. Acesse Job Management - Deployment Jobs para abrir a página de detalhes do job de implantação. Clique em More > More Information no canto superior direito da página para acessar a página de detalhes do service de modelo no PAI-EAS e visualizar o status da instância do service.

   Se a coluna Instance Status mostrar Insufficient Inventory, a instância não poderá ser agendada devido à insuficiência de recursos.

2. Interrompa o service atual, mude para outra região no canto superior esquerdo do console e implante o service novamente.

   Nota

   Modelos com um número extremamente grande de parâmetros, como DeepSeek-R1 e DeepSeek-V3, exigem 8 GPUs para iniciar o service (o inventário de recursos é restrito). Você pode escolher implantar modelos destilados menores, como o DeepSeek-R1-Distill-Qwen-7B (o inventário de recursos é abundante).

A chamada da API retorna 404

Verifique se um sufixo da API OpenAI, como v1/chat/completions, foi adicionado à URL. Para mais informações, consulte as instruções de chamada da API na página de introdução do modelo.

Se você usar uma implantação acelerada com vLLM, verifique se o parâmetro do modelo no corpo da requisição da API de chat está definido com o nome correto do modelo. Você pode obter o nome do modelo em v1/models.

Tempo limite da requisição

O tempo limite padrão da requisição do gateway para implantações é de 180 segundos. Para estendê-lo, você pode configurar um gateway dedicado e enviar um ticket para ajustar o tempo limite da requisição do gateway dedicado. O tempo limite pode ser estendido para até 600 segundos.

Sem o recurso de "pesquisa na web"

O recurso de "pesquisa na web" não é ativado apenas com a implantação do service de modelo; ele exige a construção de uma aplicação de IA (agente) separada sobre o service.

O modelo pula o pensamento

Se o modelo DeepSeek-R1 às vezes pular o processo de pensamento, use o modelo de chat atualizado do DeepSeek que força o pensamento:

1. Modifique o comando de inicialização.

   Na configuração do service, edite a configuração JSON e modifique o campo containers-script para adicionar "--chat-template /model_dir/template_force_thinking.jinja" (você pode adicioná-lo após "--served-model-name DeepSeek-R1").

   Para um service já implantado, acesse Model Gallery > Job Management > Deployment Jobs, clique em no nome do service implantado e, em seguida, clique em Update service no canto superior direito da página de detalhes para acessar a página de configuração.

2. Modifique o corpo da requisição. Em cada requisição, adicione {"role": "assistant", "content": "<think>\n"} no final da mensagem.

Desativação do modo de pensamento

Os modelos da série DeepSeek-R1 atualmente não oferecem suporte à desativação do processo de pensamento.

Conversas de múltiplas rodadas

O service de modelo não salva o histórico de conversas. O cliente deve armazenar o histórico de conversas e adicioná-lo às requisições enviadas ao modelo. O exemplo a seguir mostra um service implantado com SGLang.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
         {
            "role": "user", 
            "content": "Hello"
        },
        {
            "role": "assistant",
            "content": "Hello! Nice to meet you. How can I help you?"
        },
        {
            "role": "user",
            "content": "What was my previous question?"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions