Grupos de service - Platform For AI: Central de Documentação do Alibaba Cloud

Gerencie vários services que processam tráfego por meio de um endpoint unificado com um grupo de service. O sistema distribui o tráfego de entrada para esses services com base em uma política de alocação definida. Esse método é ideal para canary releases, dimensionamento elástico e agendamento de recursos heterogêneos. Este tópico descreve como crie um grupo de service, visualize seu endpoint de tráfego e modifique a política de alocação de tráfego.

Casos de uso

Canary release

Adicione um service de produção e um service canary ao mesmo grupo. Em seguida, aloque uma pequena quantidade de tráfego para o service canary. Ao lançar uma nova versão, atualize primeiro o service canary e monitore seu desempenho. Se ocorrerem problemas, reverta o service canary ou interrompa-o e desvie seu tráfego para o service de produção. Se a nova versão for executada conforme o esperado, implante-a no service de produção. Após a atualização, reduza a escala do service canary para zero réplicas ou mantenha-o para lidar com uma pequena quantidade de tráfego.
Dimensionamento elástico com base em assinatura e pagamento conforme o uso

Para lidar com a demanda de base, implante services baseados em assinatura em um grupo de recursos dedicado com um número fixo de réplicas. Já para gerenciar picos de tráfego e reduzir custos, use services de pagamento conforme o uso em um grupo de recursos público.
Uso de recursos de hardware heterogêneos

Em cenários acelerados por GPU, se um modelo específico de GPU ficar indisponível em uma região, isso pode impedir o dimensionamento horizontal de um service. Um grupo de service permite superar isso ao criar dinamicamente services com diferentes modelos de GPU compatíveis com vários ambientes CUDA. Isso permite que múltiplos services usem recursos heterogêneos para suportar o mesmo cenário de negócios. Como o endpoint de tráfego do grupo de service permanece inalterado, essas mudanças são transparentes para o front-end.

Crie um grupo de service

É possível atribuir um service a um grupo de service ao criá-lo.

Nota

Ao criar um service e atribuí-lo a um grupo, o sistema cria o grupo se ele não existir. Se o grupo já existir, o sistema simplesmente o adiciona ao grupo. O sistema exclui o grupo automaticamente quando seu último service integrante é removido.

O exemplo a seguir mostra como criar um grupo de service chamado pmml e como atribuir a ele dois services, pmml_prod e pmml_grey.

Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
Na aba Group Service, clique em Create Group and Service.
Na página Custom Deployment, configure os parâmetros e clique em Deploy.
Parâmetros principais:
- Service Name: Insira o nome do service conforme as instruções na tela. Neste exemplo, defina como pmml_prod.
- Group: Selecione New Group e defina o valor como pmml para este exemplo.
Para obter informações sobre outros parâmetros, consulte Custom deployment.

Repita as etapas 2 e 3 para criar o service pmml_grey e atribuí-lo ao grupo de service pmml.

Após criar os services, acesse a aba Group Service e clique no nome do grupo pmml para abrir a página de detalhes do grupo. Essa página exibe a lista de services que pertencem ao grupo.

Importante

Por padrão, os services recém-adicionados não recebem tráfego do grupo. Para ativar o tráfego, consulte Modify the traffic allocation policy.

Visualize endpoints de tráfego

Um grupo de service tem um endpoint de tráfego unificado. Cada service no grupo também tem seu próprio endpoint individual.

Group Traffic Entry: O sistema distribui o tráfego deste endpoint para diferentes services com base na política de alocação. É possível criar ou excluir services em um grupo de service, mas o endereço do endpoint permanece inalterado.
Service-specific Traffic Entry: Este endpoint está vinculado ao ciclo de vida de um service específico. O tráfego sempre flui para o service especificado. Quando o service é excluído, o sistema também exclui o endpoint. Após alternar o tráfego do grupo, ainda é necessário usar este endereço de endpoint para acessar o service e depurar online.

Como obter:

Na aba Inference Service, clique no nome do service de destino para acessar a página Overview.
Na seção Basic Information, clique em View Endpoint Information.

Na caixa de diálogo exibida, visualize o endereço de chamada e as informações do token.

Endpoint	Formato de endereço	Exemplo
Group Traffic Entry	`<endpoint>/api/predict/<group_name>`	`http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml`
Service-specific Traffic Entry	`<endpoint>/api/predict/<group_name>.<service_name>`	`http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml.pmml_prod`

Modifique a política de alocação de tráfego

Na página de detalhes do grupo, é possível alternar o método de alocação de tráfego ao lado do nome do grupo na parte superior. Atualmente, o EAS suporta dois métodos de alocação de tráfego:

Replica Allocation: O sistema aloca o tráfego dinamicamente com base no número de réplicas de cada service. Por exemplo, se o Service A tiver 1 réplica e o Service B tiver 3 réplicas, o Service A receberá 25% do tráfego e o Service B receberá 75%. Ao desativar a alocação de tráfego, o service não participa mais da distribuição de tráfego do grupo, mas permanece acessível individualmente.
Custom Allocation: O sistema distribui o tráfego com base no peso de cada service. Por exemplo, se o Service A tiver um peso de tráfego de 100 e o Service B tiver um peso de tráfego de 400, o Service A receberá 20% do tráfego e o Service B receberá 80%.

Observação:

Ative a opção Traffic Allocation de um service para habilitar a distribuição de tráfego. Desative-a para desabilitar a distribuição de tráfego do service.

Importante
Independentemente do método de alocação de tráfego, ao desativar a opção Traffic Allocation, o service não participa mais da distribuição de tráfego do grupo, mas permanece acessível individualmente.
Para usar o Weight for Custom Allocation, edite a coluna Traffic Weight para definir o Traffic Weight do service.
Também é possível usar operações de API para ajustar o peso do tráfego e o estado do tráfego dos services. Para mais informações, consulte ReleaseService.