Platform For AI:Horizontal auto scaling feature

Descrição dos parâmetros

• Configuração básica

  Parâmetro	Descrição	Recomendações e avisos de risco
  Minimum Replicas	Número mínimo de réplicas para operações de scale-in. Valor mínimo: 0.	Ambiente de produção: Para serviços que exigem disponibilidade contínua, defina-o como 1 ou superior. Importante Definir este valor como 0 remove todas as réplicas em períodos de tráfego zero. Novas solicitações estão sujeitas ao atraso total de cold start (de dezenas de segundos a vários minutos), tornando o serviço indisponível. Serviços que usam um gateway dedicado não suportam 0.
  Maximum Replicas	Número máximo de réplicas para operações de scale-out. Valor máximo: 1000.	Defina-o com base no pico de tráfego estimado e na cota de recursos da conta para evitar que picos de tráfego inesperados causem estouro de custos.
  General Scaling Metrics	Métricas de desempenho integradas usadas para acionar o dimensionamento.	QPS Threshold of Individual Instance: Defina-o com base nos resultados de testes de estresse, geralmente de 70% a 80% do desempenho ideal de uma única réplica. Importante Para definir o limiar de QPS de réplica única como um valor decimal, use o cliente (eascmd) e defina o campo qps1k. CPU Utilization Threshold: Um valor muito baixo desperdiça recursos; um valor muito alto aumenta a latência da solicitação. Defina-o com base nas métricas de tempo de resposta (RT). GPU utilization threshold: Configure-o com base nas métricas de RT. Asynchronous Queue Length: Aplica-se apenas a serviços assíncronos. Configure-o com base no tempo médio de processamento de tarefas e na latência aceitável. Para obter mais informações, consulte Configurar o dimensionamento automático horizontal para serviços de inferência assíncrona.
  Custom Scaling Metric	É possível reportar métricas personalizadas e usá-las para o dimensionamento automático. Para obter mais informações, consulte Métricas personalizadas de monitoramento e dimensionamento.	Adequado para cenários complexos em que as métricas integradas não atendem aos requisitos do negócio.

• Configuração avançada

  Parâmetro	Descrição	Recomendações e avisos de risco
  Scale-out Starts in	Janela de observação para decisões de scale-out. Após o acionamento do scale-out, o sistema observa as métricas durante este período. Se os valores das métricas caírem abaixo do limiar, o sistema cancela o scale-out. Unidade: segundos.	Padrão: 0 segundos (scale-out imediato). Aumente este valor (por exemplo, 60 segundos) para evitar dimensionamentos desnecessários devido a picos de tráfego transitórios.
  Scale-in Starts in	Janela de observação para decisões de scale-in — o parâmetro-chave para evitar instabilidade no serviço. O scale-in ocorre apenas após as métricas permanecerem abaixo do limiar durante todo esse período. Unidade: segundos.	Padrão: 300 segundos. Isso protege contra eventos frequentes de scale-in devido a flutuações de tráfego. Não defina um valor muito baixo para manter a estabilidade do serviço.
  Scale-in to 0 Instance Starts in	Quando Minimum Replicas é 0, este parâmetro define o tempo de espera antes que o número de réplicas seja reduzido para 0.	Atrasa o desligamento completo do serviço, proporcionando um tempo de buffer para uma possível recuperação de tráfego.
  Scale-from-Zero Replica Count	Número de réplicas a serem adicionadas quando o serviço faz scale-out a partir de 0 réplicas.	Defina um valor que suporte o pico inicial de tráfego e reduza a indisponibilidade do serviço durante o cold start.

Exemplo de configuração

O exemplo do scaler.json inclui opções de configuração comuns:

{
    "min": 1,
    "max": 2,
    "behavior": {
        "onZero": {
            "interceptTraffic": false,
            "scaleDownGracePeriodSeconds": 700,
            "scaleUpActivationReplicas": 2
        },
        "scaleDown": {
            "stabilizationWindowSeconds": 20
        },
        "scaleUp": {
            "stabilizationWindowSeconds": 10
        }
    },
    "scaleStrategies": [
        {
            "metricName": "queue[backlog]",
            "threshold": 10
        },
        {
            "metricName": "qps",
            "threshold": 1
        },
        {
            "metricName": "cpu",
            "threshold": 80
        },
        {
            "metricName": "gpu[util]",
            "threshold": 60
        }
    ]
}

Descrição dos parâmetros