Configure GPU slicing for EAS services - Platform For AI: Central de Documentação do Alibaba Cloud

O Elastic Algorithm Service (EAS) oferece fatiamento de GPU para tornar o uso de recursos computacionais mais econômico e eficiente durante a implantação de serviços de modelo. Esse recurso particiona o poder de processamento e a memória de uma única placa física de GPU para compartilhamento entre várias instâncias de service, aumentando a taxa de utilização da GPU e reduzindo os custos de implantação.

Pré-requisitos

A configuração do fatiamento de GPU exige o atendimento aos seguintes pré-requisitos:

Tipo de recurso: Utilize um EAS resource group ou uma Lingjun resource quota.
Status da instância: As instâncias de GPU no grupo de recursos devem estar no estado running, e não em outros estados como Starting ou Stopped.

Nota
Na primeira compra de uma instância de GPU, a inicialização geralmente leva de 8 a 10 minutos. Aguarde a conclusão desse processo antes de continuar.

Configuração

Configure o fatiamento de GPU ao criar ou atualizar um service.

Console

Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
Crie um novo service ou atualize um existente para abrir a página de configuração do service.

Na seção Resource Information, configure os parâmetros principais listados abaixo. Para obter detalhes sobre outros parâmetros, consulte custom deployment.

Parâmetro	Descrição
Resource Type	Selecione EAS Resource Group ou Resource Quota.
GPU Slicing	Marque esta caixa de seleção para ativar o fatiamento de GPU. Nota Caso esta opção não esteja disponível, consulte Why is the GPU slicing option missing?.
Deployment Resources	Single-GPU Memory (GB): Obrigatório. Defina a memória de GPU necessária para cada instância de service. O valor deve ser um número inteiro, permitindo que múltiplas instâncias compartilhem uma única GPU. Importante Para especificações de recursos que começam com ml, a unidade da memória de GPU única é GB. Para aquelas que começam com ecs, a unidade é GiB. Computing Power per GPU (%): Opcional. Indica a porcentagem do poder de processamento de uma única GPU requerida por cada instância de service. O valor deve ser um inteiro entre 1 e 100, viabilizando o compartilhamento da GPU entre várias instâncias. O sistema combina essas configurações com uma operação lógica AND. Por exemplo, se você definir a memória de GPU única como 48 GB e a porcentagem de computação da GPU como 10%, uma instância poderá usar simultaneamente, no máximo, 48 GB de memória de GPU e 10% do poder de processamento.

Após configurar os parâmetros, clique em Deploy ou Update.

Cliente local

O exemplo a seguir mostra os campos de fatiamento de GPU em um arquivo de configuração JSON:
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory: Corresponde ao parâmetro Single-GPU Memory (GB) no PAI console.
- gpu_core_percentage: Equivale ao parâmetro Computing Power per GPU (%) no PAI console. Ao especificar este parâmetro, também especifique o parâmetro gpu_memory; caso contrário, ele será ignorado.
Importante
Se utilizar o agendamento baseado em memória de GPU, não configure o campo gpu ou defina-o como 0. Quando o campo gpu está definido como 1, a instância utiliza exclusivamente toda a placa de GPU. Nessa situação, os campos gpu_memory e gpu_core_percentage são ignorados.
Consulte Command reference e utilize o comando create ou modify para criar ou atualizar o service.

Perguntas frequentes

P: Por que a opção de fatiamento de GPU não aparece?

Siga as etapas abaixo para solucionar o problema:

Verifique se o Resource Type está definido como EAS resource group ou Lingjun resource quota.
Confirme se o grupo de recursos selecionado contém recursos de GPU (ou seja, o valor na coluna GPU não pode ser 0).
Certifique-se de que o status da instância de GPU seja "running", e não outros estados como "Starting" ou "Stopped". Se o recurso estiver em inicialização, aguarde a conclusão do processo.