Configure GPU slicing for EAS services - Platform For AI: Central de Documentação do Alibaba Cloud

O fatiamento de GPU particiona o poder de computação e a memória de uma GPU física entre várias instâncias de serviço do EAS, melhorando a utilização dos recursos e reduzindo os custos de implantação.

Pré-requisitos

O fatiamento de GPU exige as seguintes condições:

Tipo de recurso: Grupo de recursos do EAS ou Cota de recursos Lingjun.
Status da instância: As instâncias de GPU no grupo de recursos devem estar running (não podem estar iniciando ou paradas).

Nota
O provisionamento inicial da GPU leva de 8 a 10 minutos. Aguarde até que a instância esteja pronta antes de continuar.

Configuração

Configure o fatiamento de GPU ao criar ou atualizar um serviço.

Console

Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).
Crie ou atualize um serviço para abrir sua página de configuração.

Na seção Resource Information, configure os parâmetros a seguir. Consulte implantação personalizada para obter informações sobre os demais parâmetros.

Parâmetro	Descrição
Resource Type	Selecione EAS Resource Group ou Resource Quota.
GPU Slicing	Ative o fatiamento de GPU. Nota Se esta opção não estiver disponível, consulte Por que a opção "GPU slicing" está ausente no console?.
Deployment Resources	Single-GPU Memory (GB): Obrigatório. Memória da GPU alocada para cada instância. Deve ser um número inteiro. Usado para agendamento de instâncias. Importante Para especificações de recurso `ml`, a unidade de memória é GB. Para especificações de recurso `ecs`, a unidade é GiB. Computing Power per GPU (%): Opcional. Percentual de poder de computação por instância. Número inteiro de 1 a 100. Usado para agendamento de instâncias. Ambas as configurações são aplicadas simultaneamente. Por exemplo, definir a memória como 48 GB e o poder de computação como 10% limita cada instância a 48 GB de memória da GPU e 10% do poder de computação.

Após configurar os parâmetros, clique em Deploy ou Update.

CLI

Campos de fatiamento de GPU em um arquivo de configuração JSON:
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory: Corresponde a Single-GPU Memory (GB) no console.
- gpu_core_percentage: Corresponde a Computing Power per GPU (%) no console. Requer gpu_memory; caso contrário, será ignorado.
Importante
Para agendamento baseado em memória, omita o campo gpu ou defina-o como 0. Definir gpu como 1 aloca a GPU inteira exclusivamente, e os campos gpu_memory e gpu_core_percentage são ignorados.
Use o comando create ou modify da referência de comandos para implantar ou atualizar um serviço.

Perguntas frequentes

P: Por que a opção de fatiamento de GPU está ausente?

Siga os passos abaixo para solucionar o problema:

Verifique se Resource Type está definido como EAS Resource Group ou Lingjun Resource Quota.
Confirme se o grupo de recursos possui recursos de GPU (valor da coluna GPU > 0).
Certifique-se de que a instância de GPU esteja running e não em outros estados, como iniciando ou parada. Se estiver inicializando, aguarde até que esteja pronta.