Platform For AI:Inferência distribuída multinó

Unidade de instância

A inferência distribuída introduz unidades de instância (chamadas de Unit neste tópico). As instâncias dentro de uma Unit utilizam comunicação de rede de alto desempenho e estratégias de paralelismo, como paralelismo de tensores (TP) e paralelismo de pipeline (PP), para processar cada solicitação. As instâncias em uma Unit são stateful. Já as Units são totalmente simétricas e stateless entre si.

ID da instância

Cada instância em uma Unit recebe um ID sequencial por meio de uma variável de ambiente. Para consultar a lista de variáveis de ambiente, veja Apêndice. Use esses IDs para atribuir tarefas diferentes às instâncias.

Tratamento de tráfego

Por padrão, cada Unit lida com o tráfego apenas pela instância 0 (RANK_ID = 0). O sistema roteia o tráfego do usuário para a instância 0 de cada Unit usando descoberta de serviço. Cada Unit processa solicitações de maneira distribuída e gerencia o tráfego independentemente.

Atualizações contínuas

Durante uma atualização contínua, a Unit é reconstruída como um todo. Todas as instâncias na nova Unit iniciam em paralelo. Após todas as novas instâncias estarem prontas, o sistema remove o tráfego da Unit antiga e exclui suas instâncias.

Ciclo de vida

Tolerância a falhas distribuída

• Tratamento de falha de instância

  • Ao detectar uma falha em qualquer instância de um serviço distribuído, o sistema reinicia automaticamente todas as instâncias da Unit.

  • Essa medida evita inconsistências no estado do cluster causadas por falhas de ponto único e garante que todas as instâncias iniciem com um ambiente limpo e consistente.

• Recuperação coordenada

  • Após a reinicialização das instâncias, o sistema aguarda até que todas as instâncias da Unit atinjam um estado pronto consistente, utilizando uma barreira de sincronização. Os processos de negócio iniciam somente depois que todas as instâncias estiverem prontas.

  • Isso atende às seguintes finalidades:

    • Evita falhas no grupo de comunicação NCCL causadas por estados inconsistentes das instâncias.

    • Garante uma sincronização rigorosa de inicialização em todos os nós de uma tarefa de inferência distribuída.

A tolerância a falhas distribuída vem desativada por padrão. Para ativá-la, defina o parâmetro unit.guard conforme mostrado no exemplo a seguir:

{
  "unit": {
    "size": 2,
    "guard": true
  }
}