Visão geral do conjunto de IA nativa da nuvem - Container Service for Kubernetes: Central de Documentação do Alibaba Cloud

O conjunto de IA nativa da nuvem é uma solução do Container Service for Kubernetes (ACK) que utiliza tecnologias e produtos de IA nativos da nuvem. Esse conjunto ajuda você a aproveitar ao máximo as arquiteturas e tecnologias nativas da nuvem para desenvolver rapidamente um sistema de produção assistido por IA no ACK. Ele também oferece otimização completa para aplicações e sistemas de IA ou machine learning. Clusters ACK Edge mantêm todas as funcionalidades do conjunto de IA disponíveis em ambientes de nuvem, embora alguns recursos possam ser limitados em ambientes de borda. Este tópico descreve as capacidades e os limites de uso do conjunto de IA em clusters ACK Edge para diferentes tipos de nós e redes.

Limites de uso

Item	Limite
Componentes do conjunto de IA	Observe os limites de uso dos componentes específicos que você utiliza, incluindo a versão do cluster e a versão do driver NVIDIA. Para mais informações, consulte Visão geral dos componentes e histórico de versões.
Clusters ACK Edge	Apenas sistemas operacionais e modelos de GPU específicos em nós de borda têm suporte. Para mais informações, consulte Adicionar um nó de borda.

Visão geral das capacidades

Existem duas diferenças principais entre clusters ACK Edge e clusters ACK Pro:

Conectividade de rede: Clusters ACK Pro exigem que todos os nós do cluster estejam na mesma virtual private cloud (VPC) e conectados entre si. Já os clusters ACK Edge possuem uma configuração de rede mais complexa, baseada em pools de nós. As capacidades do conjunto de IA podem variar conforme as condições da rede.
1. Pool de nós na nuvem: A configuração de rede do pool de nós na nuvem é idêntica à dos clusters ACK Pro. Ele gerencia nós conectados do Elastic Compute Service (ECS) dentro da mesma VPC.
2. Pool de nós de borda dedicado: Este pool de nós gerencia nós de borda conectados à nuvem por meio de circuitos Express Connect, estabelecendo conexões de rede entre data centers e a nuvem.
3. Pool de nós de borda básico: Gerencia nós de borda conectados pela Internet. Nesse caso, não há garantia de conectividade de rede entre os nós de borda.
Ambiente do nó: Clusters ACK Edge são usados principalmente para gerenciar seus recursos on-premises. Em comparação com instâncias ECS, o ambiente do nó é mais complexo e inclui informações como modelo de GPU, driver de GPU e versão do SO. Além disso, não há suporte para isolamento de memória da GPU.

Capacidade do Conjunto de IA	Nome do componente correspondente	Ambiente de nuvem	Ambiente de borda		Referências
Capacidade do Conjunto de IA	Nome do componente correspondente	Pool de nós na nuvem	Pool de nós de borda dedicado	Pool de nós de borda básico	Referências
Elasticidade	ack-alibaba-cloud-metrics-adapter	Suportado	Suportado	Suportado	Execute tarefas de treinamento de modelos no Kubernetes Serviços de inferência elástica containerizados
Aceleração	ack-fluid	Suportado	Suportado	Suportado	Conjuntos de dados elásticos Acelere o acesso ao OSS a partir de nós de borda com o Fluid
Agendamento (agendamento de tarefas em lote, compartilhamento de GPU e reconhecimento de topologia de GPU)	ack-ai-installer	Suportado	Suportado, exceto isolamento de memória da GPU	Suportado, exceto isolamento de memória da GPU	Use o agendamento Gang Agendamento com reconhecimento de topologia de GPU
Agendamento (fila de tarefas)	ack-kube-queue	Suportado	Suportado	Suportado	Gerencie cargas de trabalho de IA/ML com a fila de tarefas ack-kube-queue
Modo de interação (Arena)	ack-arena	Suportado	Suportado	Suportado	Configure o cliente Arena
Modo de interação (console)	ack-ai-dashboard ack-ai-dev-console ack-mysql	Suportado	Suportado	Suportado	Instale e configure o AI Console Implante o console do AI Suite em um cluster ACK Edge
Workflow	ack-ai-pipeline	Suportado	Suportado	Suportado	Implante o conjunto de IA nativa da nuvem
Monitoramento	ack-arena-exporter	Suportado	Suportado	Suportado	Painéis de monitoramento de IA nativa da nuvem

Nota

Em pools de nós de borda, a capacidade de aceleração do conjunto de IA só pode ser usada em pools de nós que tenham conectividade de rede entre os nós.

Método de uso

Considerando a arquitetura nuvem-borda dos clusters ACK Edge, recomendamos que você gerencie diferentes recursos por meio de pools de nós ao utilizar o conjunto de IA.

Pool de nós de gerenciamento: pool de nós na nuvem usado para implantar os componentes de gerenciamento do conjunto de IA.
1. Esse tipo de pool de nós não requer recursos de GPU.
2. Por padrão, o pool de nós na nuvem default-nodepool, criado automaticamente pelos clusters ACK Edge, atua como pool de nós de gerenciamento.
3. Para utilizar todos os recursos do conjunto de IA, escale horizontalmente o pool de nós para pelo menos 4 nós, garantindo recursos suficientes para a operação adequada dos componentes. Para mais informações, consulte Crie e gerencie pools de nós.
Pool de nós elástico: pool de nós na nuvem com auto scaling ativado.

Com elastic inference, use esse tipo de pool de nós para obter dimensionamento dinâmico de servidores conforme suas necessidades de negócio.
Pool de nós de borda: gerencia diferentes tipos de nós em data centers.

Recomendamos usar pools de nós de borda para gerenciar os nós relacionados com base em suas propriedades. Por exemplo, categorize-os em pools de nós AMD e pools de nós baseados em ARM conforme a arquitetura de CPU, ou em pools de nós que usam circuitos Express Connect e pools de nós para Internet conforme as condições de rede.