Platform For AI:Monitoramento de computação e tolerância a falhas

Ativar e configurar o monitoramento de computação

1. Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).

2. Clique em Deploy Service. Na seção Custom Model Deployment, clique em Custom Deployment.

3. Na seção Features, em Stability Guarantee, ative Compute monitoring & fault tolerance. No painel exibido, configure os parâmetros de verificação. Para usar um arquivo JSON, consulte Apêndice: Parâmetros de arquivo JSON.

   Nota

   É possível adicionar verificações tanto para "Before running" quanto para "Instance running".

   • Configurar verificação pré-execução (opcional):

     • Momento da detecção: Selecione Before running.

     • Item de verificação: Selecione os itens conforme necessário, como Run Compute Performance Check e Run Node Communication Check. Por padrão, GPU GEMM, All-Reduce (single-node) e All-Reduce (between two nodes) estão ativados.

     • Defina um tempo limite adequado com base nas durações estimadas em Itens de verificação. As verificações são executadas sequencialmente. O tempo limite padrão é de 5 minutos. Uma verificação que exceder esse tempo será considerada uma falha.

     • Tratamento de estado anormal: O padrão é Instance startup failed. Selecione Rebuild Instance de acordo com sua política de recuperação de desastres.

   • Configurar verificação durante a execução (opcional):

     • Momento da detecção: Selecione Instance running.

     • Item de verificação: Apenas C4D está disponível.

     • Tratamento de estado anormal: Apenas Ignore está disponível.

Visualizar resultados da verificação

Após configurar este recurso, visualize os relatórios de verificação de uma das seguintes maneiras:

• Método 1: Pela lista de instâncias

  1. Na página de detalhes do serviço, acesse a aba Overview.

  2. Em Service Instance, localize a instância desejada e clique em View results na coluna Actions.

• Método 2: Pelos eventos de implantação

  1. Na página de detalhes do serviço, acesse a aba Deployment Events.

  2. Localize um evento do tipo SanityCheckSucceeded ou SanityCheckFailed e clique em View results na coluna Actions.

O painel lateral Health check results será exibido. Consulte os relatórios detalhados de cada item de verificação.

Quais são as causas comuns de falha na verificação All-Reduce?

Uma falha na verificação All-Reduce geralmente indica problemas de comunicação de rede, como alta latência, perda severa de pacotes ou configuração incorreta de Remote Direct Memory Access (RDMA) entre nós. Utilize os dados detalhados do relatório para solucionar problemas em nós com comunicação lenta.

Apêndice: Itens de verificação

Apêndice: Parâmetros de arquivo JSON

Exemplo de configuração

{
    "aimaster": {
        "runtime_check": {
            "fail_action": "retain",
            "micro_benchmarks": "c4d"
        },
        "sanity_check": {
            "fail_action": "retain",
            "micro_benchmarks": "gemm_flops,all_reduce_1,all_reduce_2,kernel_launch,all_reduce,all_to_all_2,all_gather_2,all_gather,multi_all_reduce_2,multi_all_reduce,pytorch_gloo_2,network_connectivity,comp_comm_overlap",
            "timeout": 100
        }
    }
}

Parâmetros