Elastic High Performance Computing:Configure auto scaling

Benefícios

• Adiciona nós de computação conforme a carga de trabalho em tempo real para aumentar a disponibilidade do cluster.

• Remove nós de computação para reduzir custos sem comprometer a disponibilidade do cluster.

• Aumenta a tolerância a falhas ao interromper nós não íntegros e crie novos nós para substituí-los.

Limitações

• O Auto Scaling é compatível apenas com clusters cujos nós execute o sistema operacional Linux.

• Esse recurso está disponível somente para clusters que utilizam PBS, Slurm, Deadline ou SGE (Open Grid Scheduler) como agendador.

• Não há suporte para Auto Scaling baseado em métricas de memória.

  Importante

  Recomendamos especifique o número necessário de vCPUs ao envie um job para habilitar o Auto Scaling. O tamanho da memória do job não deve exceder a capacidade de memória da instância ECS.

Observações de uso

• O service de Auto Scaling exige que os services de agendador e de conta de domínio estejam operando normalmente. Após ativar o Auto Scaling, mantenha o nó de gerenciamento no status Running.

  Importante

  Se você desligar ou reiniciar o nó de gerenciamento, certifique-se de que nenhum job esteja em execução nos nós de computação e que o Auto Scaling tenha liberado todos os nós ociosos. Recomendamos desativar o Auto Scaling antes do procedimento e reativá-lo após a reinicialização do nó de gerenciamento.

• As especificações recomendadas para o nó de gerenciamento e os limites de jobs variam conforme o tamanho do cluster. Para mais informações, consulte Cluster overview.

  Tamanho do cluster	Configuração recomendada para nós de gerenciamento	Recomendações de jobs
  Número de nós de computação ≤ 100	vCPUs ≥ 16 Memória ≥ 64 GiB	Número de jobs na fila < 5.000 Número de jobs não concluídos < 10.000
  Número de nós de computação ≤ 500	vCPUs ≥ 32 Memória ≥ 128 GiB	Número de jobs na fila < 10.000 Número de jobs não concluídos < 20.000
  Número de nós de computação > 500	vCPUs ≥ 64 Memória ≥ 256 GiB	Número de jobs na fila < 10.000 Número de jobs não concluídos < 20.000

Procedimento

1. Acesse a página Auto Scale.

   1. Faça login no console E-HPC.

   2. Na barra de navegação superior, selecione uma região.

   3. No painel de navegação à esquerda, escolha Elasticity > Auto Scale.

2. Na página Auto Scale, selecione na lista o cluster para o qual deseja configure o Auto Scaling.

3. Na seção Global Configurations, configure os parâmetros.

   Parâmetro	Descrição
   Enable Autoscale	Ativa o scale-out e o scale-in automáticos para todas as filas do cluster. Nota Em caso de conflito entre uma configuração específica da fila e uma configuração global, a configuração da fila tem precedência.
   Compute Nodes	Intervalo permitido de nós de computação no cluster após uma atividade de dimensionamento. O limite superior corresponde à soma das contagens máximas de nós especificadas para todas as filas do cluster. O limite inferior é a soma das contagens mínimas de nós definidas para todas as filas.
   Scale-in Time (minutes)	O sistema libera um nó de computação se o tempo contínuo de ociosidade exceder este valor. Tempo contínuo de ociosidade = Intervalo de scale-in × Número de verificações consecutivas de ociosidade. O intervalo padrão de scale-in é de 2 minutos. O número de verificações consecutivas de ociosidade representa quantas vezes um nó foi identificado como ocioso durante as verificações de redução de recursos.
   ImageType	Tipo de imagem para os novos nós. Há suporte apenas para imagens compatíveis com as dos nós de computação existentes no cluster.
   Exception Node List	Nós excluídos do Auto Scaling. Para manter permanentemente um nó, adicione-o à lista de exceções. O sistema não libera um nó de exceção, mesmo quando ocioso.
   Hyper-threading	Por padrão, o Hyper-Threading (HT) está ativado em todas as instâncias ECS. Em alguns tipos de instância, é possível desativar o HT para obter melhor desempenho. Para mais informações, consulte Change CPU options e Disable CPU Hyper-Threading to improve cluster performance.

4. Na seção Queue Configuration, selecione uma fila e clique em Edit para configure os parâmetros.

   Parâmetro	Descrição
   Auto Grow e Auto Shrink	Define se o scale-out e o scale-in automáticos devem ser ativados. Esse recurso vem desativado por padrão. Nota Em caso de conflito entre uma configuração específica da fila e uma configuração global, a configuração da fila tem precedência.
   Queue Compute Nodes	Intervalo permitido de nós de computação na fila. Maximum: Este valor afeta o scale-out. Valores válidos: 0 a 5.000. Minimum: Este valor afeta o scale-in. Valores válidos: 0 a 1.000. Importante Se você definir o número mínimo de nós com um valor diferente de 0, o sistema manterá a quantidade especificada de nós na fila durante um evento de scale-in, mesmo que estejam ociosos. Defina esse parâmetro com cautela para evitar desperdício de recursos e custos desnecessários.
   Hostname Prefix	Prefixo do nome de host do nó, utilizado para distinguir nós em filas diferentes.
   Maximum Nodes in Each Round of Scale-out	Quantidade máxima de nós adicionados em cada ciclo de Auto Scaling. O valor padrão é 0, o que indica ausência de limite. Caso existam restrições orçamentárias, defina este parâmetro para limitar o número de nós adicionados. Suponha que você defina este parâmetro como A e o número de nós necessários pelos jobs na fila seja B. Aplicam-se as seguintes regras: Se B ≤ A, serão adicionados B nós. Se B > A, apenas A nós serão adicionados. Nota A quantidade de nós a serem adicionados também é limitada pelo número máximo de nós permitidos para a fila e para o cluster.
   Minimum Nodes in Each Round of Scale-out	Quantidade mínima de nós adicionados em cada ciclo de Auto Scaling. O valor padrão é 1. Em certos cenários, pode ser necessário adicionar um número mínimo de nós para garantir a execução do service. Nesse caso, defina este parâmetro. Se os recursos forem insuficientes para adicionar a quantidade mínima especificada, o sistema não adicionará nenhum nó, evitando desperdício de recursos. Suponha que você defina este parâmetro como A e o número de nós necessários pelos jobs na fila seja B. Aplicam-se as seguintes regras: Se B ≤ A, serão adicionados B nós. Caso os recursos sejam insuficientes para adicionar B nós, nenhum scale-out ocorrerá. Se B > A, serão adicionados B nós. Se os recursos forem insuficientes para adicionar B nós, o sistema tentará adicionar pelo menos A nós. Caso não seja possível adicionar A nós, nenhum scale-out ocorrerá.
   Automatic Configuration of the Minimum Node Number for Each Scale-out	Ao ativar esta opção, o número mínimo de nós para cada scale-out será igual à quantidade de nós exigida pelo job, até o limite de 99.
   Hostname Suffix	Sufixo do nome de host do nó, usado para diferenciar nós em filas distintas.
   ImageType	Tipo de imagem para os nós adicionados a uma única fila. É possível configure tipos de imagem diferentes para filas distintas.
   Image ID	ID da imagem para os novos nós. Diferentes IDs de imagem podem ser configurados para filas distintas. Nota Este parâmetro é específico da fila atual. Se nenhum tipo de imagem ou ID de imagem for especificado para a fila, a imagem dos nós adicionados dependerá do tipo de imagem definido nas configurações globais. Caso nenhum tipo de imagem seja especificado nas configurações globais, os nós adicionados utilizarão o tipo de imagem padrão do cluster.
   Whether instance types are unordered	Ao ativar esta opção, o Auto Scaling prioriza os tipos de instância com maior disponibilidade.
   Configuration List	Configurações para as novas instâncias. A lista de configuração inclui as seguintes informações: Zone: As zonas de disponibilidade dentro da região do cluster. vSwitch ID: O ID de um vSwitch localizado na zona de disponibilidade e associado à VPC do cluster. Instance Type: Os tipos de instância para os novos nós de computação em uma fila. Nota Quando múltiplos tipos de instância são configurados para uma fila, o Auto Scaling seleciona um tipo de instância para o scale-out com base na ordem configurada, na disponibilidade de estoque e nos requisitos de tarefas e GPUs do job. Por exemplo, se um job na fila exige que um único nó tenha 16 núcleos, e a fila estiver configurada com tipos de instância de 8, 16 e 32 núcleos, o Auto Scaling selecionará o tipo de instância de 16 núcleos para o scale-out. No entanto, se o tipo de instância de 16 núcleos estiver sem estoque, o Auto Scaling selecionará o tipo de instância de 32 núcleos. Bid Strategy: A estratégia de lance para novas instâncias. É possível crie instâncias preemptíveis. Maximum Hourly Price: Este parâmetro está disponível apenas quando você define Bid Strategy como Set Maximum Price para uma instância preemptível.
   System Disk	Configuração do disco do sistema para as novas instâncias.
   Data Disk	Discos de dados a serem anexados às novas instâncias. Configure o tipo, o tamanho e o nível de desempenho do disco de dados conforme suas necessidades de negócios. Especifique também se os discos de dados devem ser criptografados e liberados junto com as instâncias.

5. No canto superior direito da página, leia e selecione Alibaba Cloud International Website Product Terms of Service e clique em OK.

6. (Opcional) Visualize o diagrama de Auto Scaling do cluster.

   O diagrama de Auto Scaling do cluster mostra como o número de nós varia ao longo do tempo e a duração dos eventos de scale-out e scale-in de instâncias em pontos-chave do processo, com base nas políticas de dimensionamento configuradas.

   Nota

   Também é possível definir o número de nós simultâneos na área do diagrama para simular alterações nos nós de computação durante o Auto Scaling.