Platform For AI:Implantar um service de inferência assíncrona

Informações básicas

Recursos

• Inferência assíncrona

  A inferência online de baixa latência geralmente utiliza o modelo síncrono: o cliente envia uma solicitação e aguarda o resultado na mesma conexão.

  Quando os tempos de inferência são longos ou imprevisíveis, a espera síncrona pode derrubar conexões HTTP e causar timeouts no cliente. Na inferência assíncrona, o cliente envia a solicitação e recupera o resultado posteriormente via polling ou assinatura de notificações.

• Queue service

  Cenários de quase tempo real, como processamento de vídeos curtos, análise de streams de áudio/vídeo ou processamento intensivo de imagens, precisam retornar resultados dentro de um prazo específico. Esses cenários enfrentam os seguintes desafios:

  • O algoritmo de balanceamento de carga round-robin não é adequado. As solicitações devem ser distribuídas com base na carga real de cada réplica.

  • Se uma réplica falhar, suas tarefas inacabadas devem ser reatribuídas a outras réplicas íntegras para processamento.

  O PAI oferece um framework de queue service para resolver esses problemas de distribuição de solicitações.

Funcionamento

• Um service de inferência assíncrona contém dois subserviços: um subserviço de inferência e um subserviço de fila. O subserviço de fila possui duas filas internas: uma fila de entrada (input queue) e uma fila de saída (sink queue). As solicitações chegam primeiro à fila de entrada. Cada réplica do subserviço de inferência assina a fila de entrada, processa as solicitações e grava as respostas na fila de saída.

• Quando a fila de saída está cheia, o framework do service interrompe o consumo da fila de entrada para evitar resultados não entregáveis.

  Se você gravar os resultados da inferência diretamente no OSS ou em seu próprio middleware de mensagens, retorne uma resposta vazia pela interface HTTP de inferência. Nesse caso, a fila de saída será ignorada.

• O subserviço de fila recebe as solicitações do cliente e as distribui às réplicas de inferência conforme a capacidade de concorrência. Cada réplica assina uma janela de solicitações, o que evita sobrecarga e garante que todos os dados sejam eventualmente retornados ao cliente.

  Nota

  Por exemplo, se cada réplica consegue processar cinco streams de áudio, defina o tamanho da janela como 5. Quando uma réplica termina um stream e confirma o resultado, o subserviço de fila envia um novo stream. Isso limita cada réplica a cinco streams simultâneos.

• O subserviço de fila monitora as conexões das réplicas. Se uma réplica falhar, suas solicitações não processadas serão redistribuídas para réplicas íntegras, garantindo que nenhum dado seja perdido.

Acessar um service de inferência assíncrona

O sistema cria um grupo de serviços com o mesmo nome. Como o subserviço de fila gerencia o tráfego de entrada, acesse-o diretamente pelos endpoints abaixo. Access a queue service.

Gerencie um service de inferência assíncrona

Gerencie um service de inferência assíncrona como um service comum. O sistema administra os subserviços automaticamente: excluir o service remove ambos os subserviços, e atualizar o subserviço de inferência mantém o subserviço de fila inalterado.

Mesmo com apenas uma réplica configurada, a lista de instâncias exibirá uma instância adicional referente ao subserviço de fila.

A contagem de réplicas refere-se às réplicas do subserviço de inferência. As réplicas do subserviço de fila escalam automaticamente. Por exemplo, escalar as réplicas de inferência para 3 aumenta as réplicas da fila para 2.

Regras de dimensionamento de réplicas:

• Ao parar o service, ambos os subserviços escalam para 0 réplicas.

• Com uma réplica de inferência, o subserviço de fila também mantém uma réplica (salvo configuração diferente).

• Com duas ou mais réplicas de inferência, o subserviço de fila mantém duas réplicas (salvo configuração diferente).

• Se o Auto Scaling permitir um mínimo de 0 réplicas, o subserviço de fila manterá uma réplica em standby quando as réplicas de inferência escalarem para 0.

Parâmetros do subserviço de fila

O subserviço de fila funciona com a configuração padrão na maioria dos casos. Personalize-o no campo queue de nível superior do arquivo JSON:

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

As seções a seguir descrevem as opções de configuração.

Recursos do subserviço de fila

Por padrão, os recursos do subserviço de fila são herdados de metadata. Configure-os separadamente se necessário.

• Declare o grupo de recursos para o subserviço de fila usando queue.resource.

  {
    "queue": {
      "resource": "eas-r-slzkbq4tw0p6xd****"  // By default, it uses the resource group of the inference sub-service.
    }
  }

  • O padrão é o grupo de recursos do subserviço de inferência.

  • Para implantar o subserviço de fila em um grupo de recursos público, defina resource como uma string vazia (""). Isso é útil quando seu grupo de recursos dedicado não tem CPU ou memória suficiente.

    Nota

    Sempre que possível, implante o subserviço de fila em um grupo de recursos público.

• Declare a CPU (em núcleos) e a memória (em MB) para cada réplica do subserviço de fila usando queue.cpu e queue.memory.

  {
    "queue": {
       "cpu": 2,  // Default: 1.
       "memory": 8000  // Default: 4000.
    }
  }

  A configuração padrão (1 núcleo de CPU, 4 GB de memória) é suficiente para a maioria dos cenários.

  Importante

  • Para mais de 200 assinantes (réplicas do subserviço de inferência), configure 2 ou mais núcleos de CPU.

  • Não reduza a memória do subserviço de fila em ambiente de produção.

• Configure o número mínimo de réplicas para o subserviço de fila usando queue.min_replica.

  {
    "queue": {
       "min_replica": 3  // Default: 1.
    }
  }

  As réplicas do subserviço de fila escalam automaticamente conforme as réplicas de inferência em execução (running). O intervalo padrão é [1, min{2, the number of inference sub-service replicas}]. Se o Auto Scaling permitir escalar para 0, uma réplica da fila será mantida. Use queue.min_replica para ajustar esse mínimo.

  Nota

  Mais réplicas de fila melhoram a disponibilidade, não o desempenho.

Recursos funcionais do subserviço de fila

O subserviço de fila suporta as seguintes configurações funcionais.

• Configure a evicção automática de dados para as filas de saída e de entrada usando queue.sink.auto_evict ou queue.source.auto_evict, respectivamente.

  {
    "queue": {
       "sink": {
          "auto_evict": true  // Enables automatic eviction for the sink queue. Default: false.
        },
        "source": {
           "auto_evict": true  // Enables automatic eviction for the input queue. Default: false.
        }
    }
  }

  A evicção automática vem desativada por padrão — uma fila cheia rejeita novos dados. Ative a evicção para descartar os dados mais antigos e abrir espaço para novas entradas.

• Defina o número máximo de tentativas de entrega usando queue.max_delivery.

  {
     "queue": {
        "max_delivery": 10  // The maximum number of delivery attempts is 10. Default: 5. If set to 0, this feature is disabled, and data can be delivered an unlimited number of times.
     }
  }

  Quando as tentativas de entrega ultrapassam o limiar, a mensagem é marcada como dead letter. Dead-letter policy.

• Estabeleça o tempo máximo de processamento para uma mensagem usando queue.max_idle.

  {
      "queue": {
        "max_idle": "1m"  // Configures the maximum processing time for a single message to 1 minute. If this time is exceeded, the message is delivered to another subscriber, and the delivery count is incremented. The default value is 0, which means no maximum processing time.
      }
  }

  Unidades de tempo suportadas: h (hora), m (minuto) e s (segundo). Se o processamento exceder a duração configurada:

  • Se o limiar de queue.max_delivery não for excedido, a mensagem é reentregue a outros assinantes.

  • Se o limiar de queue.max_delivery for excedido, aplica-se a política de dead letter.

• Configure a política de dead letter usando queue.dead_message_policy.

  {
      "queue": {
        "dead_message_policy":  "Rear"  // The value can be Rear (default) or Drop. Rear moves the message to the end of the queue. Drop deletes the message. 																 
      }
  }

Comprimento da fila ou tamanho máximo do payload



A memória da réplica da fila é fixa: aumentar o tamanho máximo do payload por mensagem reduz o comprimento máximo da fila.

Nota

• Com as configurações padrão (4 GB de memória, payload máximo de 8 KB), cada fila armazena até 230.399 mensagens. Para armazenar mais, aumente a memória. O sistema reserva 10% da memória total.

• Não é possível configurar o comprimento máximo e o tamanho máximo do payload para a mesma fila simultaneamente.

• Defina o comprimento máximo das filas de saída e de entrada usando queue.sink.max_length ou queue.source.max_length, respectivamente.

  {
      "queue": {
         "sink": {
            "max_length": 8000  // Configures the maximum length of the sink queue to 8,000 messages.
         },
         "source": {
            "max_length": 2000  // Configures the maximum length of the input queue to 2,000 messages.
         }
      }
  }

• Especifique o tamanho máximo do payload por mensagem para as filas de saída e de entrada usando queue.sink.max_payload_size_kb ou queue.source.max_payload_size_kb, respectivamente.

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  // Configures the maximum payload size per message for the sink queue to 10 KB. Default: 8 KB.
         },
         "source": {
            "max_payload_size_kb": 1024  // Configures the maximum payload size per message for the input queue to 1024 KB (1 MB). Default: 8 KB.
         }
      }
  }

Proporção de alocação de memória

• Ajuste a alocação de memória entre as filas de entrada e de saída usando queue.sink.memory_ratio.

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  // Configures the memory ratio for the sink queue. Default: 0.5.
         }
      }
  }

  Nota

  Por padrão, as filas de entrada e de saída compartilham a memória igualmente. Aumente queue.sink.memory_ratio se a fila de saída precisar de mais espaço (por exemplo, entrada de texto e saída de imagem) ou diminua para o cenário inverso.

Auto Scaling horizontal

Funcionamento

O sistema dimensiona dinamicamente as réplicas de inferência com base no estado da fila, inclusive escalando para zero quando a fila está vazia. O diagrama a seguir ilustra o mecanismo.



Procedimento

1. Na lista de serviços, clique em no nome do service desejado.

2. Acesse a aba Auto Scaling. Na seção Auto Scaling, clique em Enable Auto Scaling.

3. Na caixa de diálogo Auto Scaling Settings, configure os parâmetros.

   • Configurações básicas:

     Parâmetro	Descrição	Exemplo
     Minimum Replicas	Número mínimo de réplicas para operações de scale-in. Valor mínimo: 0.	0
     Maximum Replicas	Número máximo de réplicas para operações de scale-out. Valor máximo: 1000.	10
     General Scaling Metrics	Métricas de desempenho integradas usadas para acionar o dimensionamento. Asynchronous Queue Length representa o número médio de tarefas enfileiradas por réplica.	Selecione Asynchronous Queue Length e defina o limiar como 10.

   • Configurações avançadas:

     Parâmetro	Descrição	Exemplo
     Scale-out Starts in	Janela de observação para decisões de scale-out. Após o acionamento do scale-out, o sistema observa as métricas durante este período. Se os valores das métricas caírem abaixo do limiar, o scale-out é cancelado. Unidade: segundos. O valor padrão é 0 segundos, o que significa que o scale-out é executado imediatamente.	0
     Scale-in Starts in	Janela de observação para decisões de scale-in — o parâmetro chave para evitar instabilidade no service. O scale-in ocorre somente após as métricas permanecerem abaixo do limiar durante toda esta duração. Unidade: segundos. Padrão: 300 segundos. Isso protege contra eventos frequentes de scale-in devido a flutuações de tráfego. Não defina um valor muito baixo para manter a estabilidade do service.	300
     Scale-in to 0 Instance Starts in	Quando Minimum Replicas é 0, este parâmetro define o tempo de espera antes que a contagem de réplicas seja reduzida para 0.	600
     Scale-from-Zero Replica Count	Quantidade de réplicas a adicionar quando o service escala a partir de 0 réplicas.	1

   Detalhes completos dos parâmetros e uso do eascmd estão disponíveis em Horizontal auto scaling.