Visão geral do conjunto de IA nativa da nuvem - Container Service for Kubernetes: Central de Documentação do Alibaba Cloud

O conjunto de IA nativa da nuvem é uma solução do Container Service for Kubernetes (ACK) que utiliza tecnologias e produtos de IA nativos da nuvem. Esse conjunto ajuda você a aproveitar plenamente as arquiteturas e tecnologias nativas da nuvem para desenvolver rapidamente um sistema de produção assistido por IA no ACK. Ele também oferece otimização completa para aplicações e sistemas de IA ou aprendizado de máquina. Clusters ACK Edge mantêm todas as funcionalidades do conjunto de IA disponíveis em ambientes de nuvem, embora alguns recursos possam ser limitados em ambientes de borda. Este tópico descreve as capacidades e os limites de uso do conjunto de IA em clusters ACK Edge para diferentes tipos de nós e redes.

Limites de uso

Item	Limite
Componentes do conjunto de IA	Observe os limites de uso dos componentes específicos utilizados, incluindo a versão do cluster e a versão do driver NVIDIA. Para mais informações, consulte Introdução aos componentes e notas de versão.
Clusters ACK Edge	Há suporte apenas para sistemas operacionais e modelos de GPU específicos em nós de borda. Para mais informações, consulte Adicionar um nó de borda.

Visão geral das capacidades

Existem duas diferenças principais entre clusters ACK Edge e clusters ACK Pro:

Conectividade de rede: Clusters ACK Pro exigem que todos os nós do cluster estejam na mesma virtual private cloud (VPC) e conectados entre si. Já os clusters ACK Edge possuem uma configuração de rede mais complexa, baseada em node pools. As capacidades do conjunto de IA podem variar conforme as condições de rede.
1. Node pool na nuvem: A configuração de rede do node pool na nuvem é idêntica à dos clusters ACK Pro. Ele gerencia nós conectados do Elastic Compute Service (ECS) dentro da mesma VPC.
2. Node pool de borda dedicado: Gerencia nós de borda conectados à nuvem por meio de circuitos Express Connect, estabelecendo conexões de rede entre data centers e a nuvem.
3. Node pool de borda básico: Gerencia nós de borda conectados pela Internet. Nesse cenário, não é possível garantir a conectividade de rede entre os nós de borda.
Ambiente do nó: Clusters ACK Edge são usados principalmente para gerenciar recursos on-premises. Em comparação com instâncias ECS, o ambiente do nó é mais complexo e inclui informações como modelo de GPU, driver de GPU e versão do sistema operacional. Além disso, não há suporte para isolamento de memória da GPU.

Capacidade do Conjunto de IA	Nome do componente correspondente	Ambiente de nuvem	Ambiente de borda		Referências
Capacidade do Conjunto de IA	Nome do componente correspondente	Node pool na nuvem	Node pool de borda dedicado	Node pool de borda básico	Referências
Elasticidade	ack-alibaba-cloud-metrics-adapter	Suportado	Suportado	Suportado	Executar jobs de treinamento de modelos no Kubernetes Serviços de inferência elástica containerizados
Aceleração	ack-fluid	Suportado	Suportado	Suportado	Conjuntos de dados elásticos Acelerar o acesso ao OSS a partir de nós de borda com Fluid
Agendamento (agendamento de tarefas em lote, compartilhamento de GPU e reconhecimento de topologia de GPU)	ack-ai-installer	Suportado	Suportado, exceto isolamento de memória da GPU	Suportado, exceto isolamento de memória da GPU	Usar agendamento Gang Agendamento com reconhecimento de topologia de GPU
Agendamento (fila de tarefas)	ack-kube-queue	Suportado	Suportado	Suportado	Gerencie cargas de trabalho de IA e ML com ack-kube-queue
Modo de interação (Arena)	ack-arena	Suportado	Suportado	Suportado	Configurar o cliente Arena
Modo de interação (console)	ack-ai-dashboard ack-ai-dev-console ack-mysql	Suportado	Suportado	Suportado	Instalar e configurar o AI Console Implantar o console do conjunto de IA
Workflow	ack-ai-pipeline	Suportado	Suportado	Suportado	Implantar o conjunto de IA nativa da nuvem
Monitoramento	ack-arena-exporter	Suportado	Suportado	Suportado	Painéis de monitoramento de IA nativa da nuvem

Nota

Em node pools de borda, a capacidade de aceleração do conjunto de IA só pode ser utilizada se houver conectividade de rede entre os nós.

Método de uso

Considerando a arquitetura nuvem-borda dos clusters ACK Edge, recomendamos gerenciar diferentes recursos por meio de node pools ao utilizar o conjunto de IA.

Node pool de gerenciamento: node pool na nuvem destinado à implantação dos componentes de gerenciamento do conjunto de IA.
1. Este tipo de node pool não requer recursos de GPU.
2. Por padrão, o node pool na nuvem default-nodepool, criado automaticamente pelos clusters ACK Edge, atua como node pool de gerenciamento.
3. Para utilizar todos os recursos do conjunto de IA, escale horizontalmente o node pool para pelo menos 4 nós, garantindo recursos suficientes para a operação adequada dos componentes. Para mais informações, consulte Crie e gerencie node pools.
Node pool elástico: node pool na nuvem com auto scaling ativado.

Para inferência elástica, utilize este tipo de node pool para dimensionar servidores dinamicamente conforme suas necessidades de negócio.
Node pool de borda: gerencia diferentes tipos de nós em data centers.

Recomendamos usar node pools de borda para organizar os nós relacionados com base em suas propriedades. Por exemplo, categorize-os em node pools AMD e node pools baseados em ARM conforme a arquitetura de CPU, ou em node pools que utilizam circuitos Express Connect e node pools para Internet conforme as condições de rede.