Grupos de services - Platform For AI: Central de Documentação do Alibaba Cloud

Um grupo de services gerencia vários services que processam tráfego por meio de um endpoint unificado. O sistema distribui o tráfego de entrada para esses services com base em uma política de alocação definida. Esse método é ideal para canary releases, dimensionamento elástico e agendamento de recursos heterogêneos. Este tópico descreve como criar um grupo de services, visualizar seu endpoint de tráfego e modificar a política de alocação de tráfego.

Casos de uso

Canary release

Adicione um service de produção e um service canary ao mesmo grupo. Em seguida, aloque uma pequena quantidade de tráfego para o service canary. Ao lançar uma nova versão, atualize primeiro o service canary e monitore seu desempenho. Se ocorrerem problemas, reverta o service canary ou interrompa-o e redirecione seu tráfego para o service de produção. Caso a nova versão funcione conforme o esperado, implante-a no service de produção. Após a atualização, reduza o service canary para zero réplicas ou mantenha-o ativo para lidar com uma pequena quantidade de tráfego.
Dimensionamento elástico por assinatura e pagamento conforme o uso

Para atender à demanda de linha de base, implante services por assinatura em um grupo de recursos dedicado com um número fixo de réplicas. Para gerenciar picos de tráfego e reduzir custos, utilize services de pagamento conforme o uso em um grupo de recursos público.
Uso de recursos de hardware heterogêneos

Em cenários acelerados por GPU, se um modelo específico de GPU ficar indisponível em uma região, isso pode impedir o scale out de um service. Um grupo de services permite superar essa limitação criando dinamicamente services com diferentes modelos de GPU compatíveis com vários ambientes CUDA. Isso possibilita que múltiplos services utilizem recursos heterogêneos para suportar o mesmo cenário de negócios. Como o endpoint de tráfego do grupo permanece inalterado, essas alterações são transparentes para o front-end.

Criar um grupo de services

Atribua um service a um grupo de services durante a criação do service.

Nota

Ao criar um service e atribuí-lo a um grupo, o sistema cria o grupo caso ele não exista. Se o grupo já existir, o service será simplesmente adicionado a ele. O grupo é excluído automaticamente quando seu último service membro é removido.

O exemplo a seguir mostra como criar um grupo de services chamado pmml e atribuir dois services, pmml_prod e pmml_grey, a ele.

Faça logon no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).
Na aba Group Service, clique em Create Group and Service.
Na página Custom Deployment, configure os parâmetros e clique em Deploy.
Principais parâmetros:
- Service Name: Configure o nome do service seguindo as instruções na tela. Neste exemplo, defina como pmml_prod.
- Group: Selecione New Group e defina o valor como pmml para este exemplo.
Para obter informações sobre outros parâmetros, consulte Custom deployment.

Repita as etapas 2 e 3 para criar o service pmml_grey e atribuí-lo ao grupo de services pmml.

Após criar os services, acesse a aba Group Service e clique no nome do grupo pmml para acessar a página de detalhes do grupo. Essa página exibe a lista de services pertencentes ao grupo.

Importante

Por padrão, services recém-adicionados não recebem tráfego do grupo. Para ativar o tráfego, consulte Modify the traffic allocation policy.

Visualizar endpoints de tráfego

Um grupo de services possui um endpoint de tráfego unificado. Cada service dentro do grupo também tem seu próprio endpoint individual.

Group Traffic Entry: O tráfego destinado a este endpoint é distribuído para diferentes services com base na política de alocação. Os services em um grupo podem ser criados ou excluídos, mas o endereço do endpoint permanece inalterado.
Service-specific Traffic Entry: Este endpoint está vinculado ao ciclo de vida de um service específico. O tráfego sempre flui para o service especificado. Quando o service é excluído, o endpoint também é destruído. Mesmo após alternar o tráfego do grupo, use este endereço de endpoint para acessar o service e realizar depuração online.

Como obter:

Na aba Inference Service, clique no nome do service de destino para acessar a página Overview.
Na seção Basic Information, clique em View Endpoint Information.

Na caixa de diálogo exibida, visualize o endereço de chamada e as informações do token.

Endpoint	Formato do endereço	Exemplo
Group Traffic Entry	`<endpoint>/api/predict/<group_name>`	`http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml`
Service-specific Traffic Entry	`<endpoint>/api/predict/<group_name>.<service_name>`	`http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml`

Modificar a política de alocação de tráfego

Na página de detalhes do grupo, alterne o método de alocação de tráfego ao lado do nome do grupo na parte superior. O EAS suporta atualmente dois métodos de alocação de tráfego:

Replica Allocation: O tráfego é alocado dinamicamente com base na contagem de réplicas de cada service. Por exemplo, se o Serviço A tiver 1 réplica e o Serviço B tiver 3 réplicas, o Serviço A recebe 25% do tráfego e o Serviço B recebe 75%. Após desativar a alocação de tráfego, o service deixa de participar da distribuição de tráfego do grupo, mas permanece acessível individualmente.
Custom Allocation: O tráfego é distribuído com base no peso de cada service. Por exemplo, se o Serviço A tiver um peso de tráfego de 100 e o Serviço B tiver um peso de 400, o Serviço A recebe 20% do tráfego e o Serviço B recebe 80%.

Observação:

Ative a chave Traffic Allocation de um service para habilitar a distribuição de tráfego. Desative a chave para desabilitar a distribuição de tráfego para o service.

Importante
Independentemente do método de alocação de tráfego, após desativar a chave Traffic Allocation, o service deixa de participar da distribuição de tráfego do grupo, mas permanece acessível individualmente.
Para utilizar o Weight for Custom Allocation, clique no botão de edição na coluna Traffic Weight para definir o Traffic Weight do service.
Também é possível usar operações de API para ajustar o peso de tráfego e o estado de tráfego dos services. Para mais informações, consulte ReleaseService.