Platform For AI:Inferência distribuída em vários nós

Unidade de instância

A inferência distribuída introduz unidades de instância (referidas como Unit neste tópico). As instâncias dentro de uma Unit utilizam comunicação de rede de alto desempenho e estratégias de paralelismo, como paralelismo de tensores (TP) e paralelismo de pipeline (PP), para processar cada solicitação. As instâncias em uma Unit são stateful. As Units são totalmente simétricas e stateless entre si.

ID da instância

Cada instância em uma Unit recebe um ID de instância sequencial por meio de uma variável de ambiente. Para obter a lista de variáveis de ambiente, consulte Appendix. Use esses IDs para atribuir tarefas diferentes às instâncias.

Tratamento de tráfego

Por padrão, cada Unit lida com o tráfego apenas pela instância 0 (RANK_ID = 0). O sistema roteia o tráfego do usuário para a instância 0 de cada Unit usando descoberta de service. Cada Unit processa solicitações de maneira distribuída e gerencia o tráfego independentemente.

Atualizações contínuas

Durante uma atualização contínua, a Unit é reconstruída como um todo. Todas as instâncias na nova Unit iniciam em paralelo. Depois que todas as novas instâncias estiverem prontas, o sistema remove o tráfego da Unit antiga e exclui suas instâncias.

Ciclo de vida

Tolerância a falhas distribuída

• Tratamento de falha de instância

  • Ao detectar uma falha em qualquer instância de um service distribuído, o sistema reinicia automaticamente todas as instâncias na Unit.

  • Essa medida evita inconsistências no estado do cluster causadas por falhas de ponto único e garante que todas as instâncias iniciem com um ambiente limpo e consistente.

• Recuperação coordenada

  • Após a reinicialização das instâncias, o sistema aguarda até que todas as instâncias na Unit atinjam um estado pronto consistente, utilizando uma barreira de sincronização. Os processos de negócio iniciam somente depois que todas as instâncias estiverem prontas.

  • Isso atende às seguintes finalidades:

    • Evita falhas no grupo de comunicação NCCL causadas por estados inconsistentes das instâncias.

    • Garante uma sincronização rigorosa de inicialização em todos os nós de uma tarefa de inferência distribuída.

A tolerância a falhas distribuída está desativada por padrão. Para ativá-la, defina o parâmetro unit.guard conforme mostrado no exemplo a seguir:

{
  "unit": {
    "size": 2,
    "guard": true
  }
}