Platform For AI:Deploy a service with JSON configuration

Parâmetro

Obrigatório

Descrição

name

Sim

O nome do service. Deve ser único dentro de uma região.

instance

Sim

O número de instâncias para o service.

workspace_id

Não

O ID do workspace do PAI. Se especificado, este parâmetro restringe o service ao workspace. Por exemplo: 1405**.

cpu

Não

O número de núcleos de CPU necessários para cada instância.

memory

Não

A quantidade de memória necessária para cada instância, em MB. O valor deve ser um número inteiro. Por exemplo, "memory": 4096 indica que cada instância requer 4 GB de memória.

gpu

Não

O número de GPUs necessárias para cada instância.

gpu_memory

Não

Ativa o gpu slicing, que permite que várias instâncias compartilhem uma única GPU. Este parâmetro só pode ser configurado com grupos de recursos dedicados ou cotas de recursos.

gpu_core_percentage

qos

Não

Especifica a Quality of Service (QoS) para a instância. Valores válidos: BestEffort ou omitido. Quando qos é definido como BestEffort, a instância entra no modo de compartilhamento de CPU. Neste modo, o agendamento é baseado na memória da GPU e na memória do sistema, e o agendamento ignora o número de núcleos de CPU no nó. Todas as instâncias no nó compartilham os recursos de CPU. O parâmetro cpu então especifica a cota máxima de CPU que uma única instância pode usar.

resource

Não

O ID do grupo de recursos. A política de implantação é a seguinte:

• Se implantado em um grupo de recursos público, omita este parâmetro. O service será então faturado com base no pagamento conforme o uso.

• Se implantado em um grupo de recursos dedicado, defina este parâmetro como o ID do grupo de recursos. Por exemplo: eas-r-6dbzve8ip0xnzt****.

cuda

Não

A versão do CUDA que o service requer. Em tempo de execução, a versão especificada do CUDA é montada automaticamente no diretório /usr/local/cuda da instância.

Versões suportadas do CUDA: 8.0, 9.0, 10.0, 10.1, 10.2, 11.0, 11.1 e 11.2. Por exemplo: "cuda":"11.2".

rdma

Não

Especifica se deve ativar a rede RDMA para inferência distribuída. Defina o valor como 1 para ativar a rede RDMA. Se omitido, este recurso fica desativado.

enable_grpc

Não

Especifica se deve ativar conexões gRPC para o gateway do service. Valores válidos:

• false (Padrão): Desativa conexões gRPC. O gateway suporta requisições HTTP por padrão.

• true: Ativa conexões gRPC.

enable_webservice

Não

Especifica se deve ativar um servidor web para implantar o service como uma aplicação AI-Web.

• false (Padrão): O servidor web não é ativado.

• true: O servidor web é ativado.

type

Não

Defina este parâmetro como LLMGatewayService para implantar um service de roteador inteligente LLM. Para mais informações, consulte Deploy an LLM intelligent router.

Parâmetro

Obrigatório

Descrição

rpc

batching

Não

Ativa o agrupamento no lado do servidor para acelerar a inferência de modelos de GPU. Este recurso é suportado apenas no modo de processador pré-construído. Valores válidos:

• false (Padrão): Desativa o agrupamento no lado do servidor.

• true: Ativa o agrupamento no lado do servidor.

keepalive

Não

O tempo máximo de processamento para uma única requisição, em milissegundos. Se o tempo de processamento exceder este valor, o servidor retorna um erro 408 Timeout e fecha a conexão. O valor padrão é 600000 para gateways dedicados. Este parâmetro não é suportado para gateways dedicados baseados em Application Load Balancer (ALB).

io_threads

Não

O número de threads usadas para processar requisições de I/O de rede em cada instância. O valor padrão é 4.

max_batch_size

Não

O tamanho máximo de cada lote. O valor padrão é 16. Este parâmetro só entra em vigor quando rpc.batching é definido como true. Este recurso é suportado apenas no modo de processador pré-construído.

max_batch_timeout

Não

O tempo limite máximo para cada lote, em milissegundos. O valor padrão é 50. Este parâmetro só entra em vigor quando rpc.batching é definido como true. Este recurso é suportado apenas no modo de processador pré-construído.

max_queue_size

Não

O comprimento máximo da fila para um service de inferência assíncrona. O valor padrão é 64. Se a fila estiver cheia, o servidor retorna um erro 450 e fecha a conexão. Isso permite que o cliente tente novamente em outras instâncias e evite a sobrecarga do servidor. Para services com longos tempos de resposta (RTs), você pode reduzir o comprimento da fila para evitar que as requisições se acumulem e causem tempos limite.

worker_threads

Não

O número de threads em cada instância que são usadas para processar requisições simultaneamente. O valor padrão é 5. Este recurso é suportado apenas no modo de processador pré-construído.

rate_limit

Não

Ativa o limite de taxa de QPS e especifica o QPS máximo que uma instância pode processar. O valor padrão é 0, o que indica que o limite de taxa de QPS está desativado.

Por exemplo, se você definir este parâmetro como 2000, as requisições serão rejeitadas com um erro 429 (Too Many Requests) quando o QPS exceder 2.000.

enable_sigterm

Não

Valores válidos:

• false (Padrão): O sistema não envia um sinal SIGTERM quando uma instância entra no estado de encerramento.

• true: Quando uma instância de service entra no estado de encerramento, o sistema envia imediatamente um sinal SIGTERM para o processo principal. O processo dentro do service deve lidar com este sinal para realizar um encerramento gracioso personalizado. Se o sinal não for tratado, o processo principal pode ser encerrado imediatamente, impedindo um encerramento gracioso.

rolling_strategy

max_surge

Não

O número máximo de instâncias adicionais criadas além da contagem desejada durante uma atualização contínua. O valor pode ser um número inteiro positivo que indica o número de instâncias, ou uma porcentagem, como 2%. O valor padrão é 2%. Um valor maior acelera as atualizações do service.

Por exemplo, se a contagem de instâncias do service for 100 e você definir este parâmetro como 20, 20 novas instâncias serão criadas imediatamente após o início da atualização do service.

max_unavailable

Não

O número máximo de instâncias indisponíveis durante uma atualização contínua. Este parâmetro pode liberar recursos para novas instâncias durante uma atualização e evitar que a atualização pare devido a recursos insuficientes. O valor padrão é 1 para grupos de recursos dedicados e 0 para grupos de recursos públicos.

Por exemplo, se você definir este parâmetro como N, N instâncias serão interrompidas imediatamente após o início da atualização do service.

eas.termination_grace_period

Não

O período de encerramento gracioso de uma instância, em segundos. O valor padrão é 30.

Os services do EAS usam uma estratégia de atualização contínua. Uma instância primeiro entra no estado Terminating, e o service roteia o tráfego para longe da instância em encerramento. A instância então aguarda 30 segundos para processar quaisquer requisições recebidas antes de ser encerrada. Se as requisições demorarem muito para serem processadas, você pode aumentar este valor para garantir que todas as requisições em andamento sejam concluídas durante uma atualização do service.

scheduling

spread.policy

Não

A política de distribuição para agendar instâncias de service. Há suporte para as seguintes políticas:

• host: Distribui instâncias em diferentes nós.

• zone: Distribui instâncias em diferentes zonas de disponibilidade.

• default: Agenda instâncias com base na política padrão usando a estratégia de posicionamento padrão do sistema.

Exemplo de configuração:

{
  "metadata": {
    "scheduling": {
      "spread": {
        "policy": "host"
      }
    }
}

resource_rebalancing

Não

Valores válidos:

• false (Padrão): Este recurso está desativado.

• true: O EAS cria periodicamente instâncias de sondagem em recursos de alta prioridade. Se uma instância de sondagem for agendada com sucesso, ele criará mais instâncias de sondagem exponencialmente até que o agendamento falhe. Quando uma instância de sondagem agendada com sucesso conclui a inicialização e fica pronta, ela substitui uma instância em execução em um recurso de prioridade mais baixa.

Este recurso ajuda a resolver os seguintes problemas:

• Evita que novas instâncias sejam agendadas temporariamente para um grupo de recursos públicos durante uma atualização contínua. Isso pode ocorrer quando as instâncias em encerramento em um grupo de recursos dedicados ainda não liberaram seus recursos.

• Ao usar instâncias spot e regulares, o sistema verifica periodicamente se há instâncias spot disponíveis e migra as instâncias regulares para elas.

resource_burstable

Não

Ativa o recurso elastic resource pool para um service do EAS implantado em um grupo de recursos dedicado.

• true: Ativa o recurso.

• false: Desativa o recurso.

shm_size

Não

O tamanho da memória compartilhada para cada instância, em GB. A memória compartilhada permite operações diretas de leitura e gravação, eliminando a necessidade de cópia ou transferência de dados.