Container Service for Kubernetes:Visão geral do conjunto de IA nativa da cloud

Gerenciamento de recursos heterogêneos

• Suporte a recursos heterogêneos: Além dos recursos suportados pelo ACK, o conjunto de IA nativa da cloud também suporta recursos heterogêneos como NVIDIA GPUs, NPUs, FPGAs, VPUs e RDMA. Use o conjunto para agendar, gerenciar e manter esses recursos de forma centralizada.

• Monitoramento e manutenção: O conjunto monitora GPUs em múltiplas dimensões e exibe informações visuais sobre alocação, uso e status de integridade das GPUs.

• Melhoria na utilização de recursos: O conjunto suporta compartilhamento de GPU, isolamento de memória de GPU e agendamento de GPU com reconhecimento de topologia para ajudar a melhorar a utilização dos recursos.

• Overview of ACK clusters for heterogeneous computing

• Enable GPU monitoring for a cluster

• GPU sharing

Agendamento de jobs de IA

• Múltiplas políticas de agendamento: O agendador do ACK estende o framework de agendamento nativo do Kubernetes para jobs em lote, como jobs de treinamento distribuído de IA. Há suporte a diversas políticas de agendamento em lote, incluindo gang scheduling (coscheduling), First In First Out (FIFO), agendamento por capacidade, compartilhamento justo, bin packing e spread.

• Filas de jobs: O conjunto fornece filas de jobs baseadas em prioridade, permitindo personalizar as prioridades dos jobs e configurar cotas elásticas para tenants.

• Orquestração de workflows: Integre Kubeflow Pipelines ou Argo Workflows para orquestrar workflows de jobs de IA complexos.

• GPU sharing

• AI workload scheduling

Agendamento elástico

Agendamento elástico para jobs de deep learning distribuído: O conjunto dimensiona dinamicamente o número de workers e de nós sem afetar o treinamento do modelo nem sua precisão. Ele adiciona workers para acelerar o treinamento quando o cluster possui recursos ociosos e libera workers quando o cluster não consegue fornecer recursos suficientes. Isso garante que o treinamento do modelo não seja afetado pela falta de recursos. Esse modo melhora significativamente a utilização geral dos recursos do cluster, ajuda a evitar falhas em nós e reduz o tempo de espera para iniciar jobs.

Kubernetes-based elastic training

Orquestração e aceleração de dados de IA

Fluid: introduz o conceito de dataset. Ele fornece aos jobs de treinamento uma abstração de dados e oferece uma plataforma de orquestração e aceleração de dados para ajudar a gerenciar datasets, aplicar controle de acesso e acelerar o acesso aos dados. O ack-fluid pode ingerir dados de diferentes services de armazenamento e agregá-los no mesmo dataset. Também é possível conectar o ack-fluid a services de armazenamento na cloud ou on-premises em um ambiente de cloud híbrida para gerenciar dados e acelerar o acesso. Além disso, o ack-fluid pode ser estendido para suportar diversos services de cache distribuído. Configure um service de cache para cada dataset e use recursos como aquecimento de dataset, monitoramento de capacidade de cache e dimensionamento elástico para reduzir significativamente a sobrecarga de ingestão remota de dados nos jobs de treinamento e melhorar a eficiência da computação em GPU.

• Elastic datasets

• Accelerate data access in serverless cloud computing

Gerenciamento do ciclo de vida de jobs de IA

• Arena: simplifica o processo de produção de IA, cobrindo aspectos essenciais como gerenciamento de dados, desenvolvimento de modelos, treinamento e implantação de services de inferência, enquanto abstrai os detalhes complexos de agendamento de recursos, configuração de ambiente e monitoramento. O Arena é compatível com stacks tecnológicos de IA predominantes, como TensorFlow e PyTorch, e também suporta SDKs multilíngues para desenvolvimento adicional. O ack-arena foi otimizado para simplificar operações na ferramenta de gerenciamento de jobs Arena. Instale o ack-arena no console do Container Service for Kubernetes (ACK) com poucos cliques para implantar o Arena em seus clusters ACK de maneira eficiente.

• O&M visualizado: oferece painéis fáceis de usar e um console de desenvolvedor para visualizar o status do cluster e enviar jobs de treinamento rapidamente.

• Configure the Arena client

• Access the AI Dashboard

• Access the AI Developer Console

Função

Descrição

Administrador de O&M

Responsável por construir a infraestrutura de IA e pela administração diária. Para mais informações, consulte Deploy the suite, Manage users, Manage elastic quota groups e Manage datasets.

Engenheiro de algoritmos e cientista de dados

Usa o conjunto de IA nativa da cloud para gerenciar jobs. Para mais informações, consulte Model trainingModel training in Kubernetes clusters, Manage models in MLflow Model Registry through Arena e Analyze and optimize models.

Etapa

Descrição

Console

1. Preparações

(Administrador de O&M)

Crie uma conta Alibaba Cloud

Crie uma conta Alibaba Cloud e conclua a verificação de nome real. Para mais informações, consulte Register an Alibaba Cloud account.

Alibaba Cloud signup page

Crie um cluster ACK

Ative o ACK e crie um cluster ACK. Recomendamos as seguintes configurações de cluster. Para mais informações, consulte Create an ACK managed cluster.

• Tipo de cluster: ACK Pro cluster, ACK Serverless Pro cluster ou ACK Edge Pro cluster.

• Versão do Kubernetes: 1,18 ou posterior.

• Região: a região onde você ativou o ACK.

ACK console

(Opcional) Configure dependências do cluster e crie recursos de cloud dependentes

• Instale e configure o AI Dashboard e o AI Developer Console:

  • Instale o agente Prometheus e o Logtail no cluster ACK.

  • Crie uma política para o cluster no console do Resource Access Management (RAM). Para mais informações, consulte AuthorizationAuthorization.

  • Se desejar usar um nome de domínio interno ou público para acessar o AI Dashboard e o AI Developer Console, instale o NGINX Ingress controller e ative o acesso interno ou o acesso à Internet para o controller.

  • Para usar um banco de dados MySQL pré-instalado como armazenamento, certifique-se de que os nós do cluster estejam conectados a Enterprise SSDs (ESSDs).

  • Para usar um banco de dados ApsaraDB RDS como armazenamento, compre uma instância ApsaraDB RDS e crie um Secret chamado kubeai-rds no namespace kube-ai.

  Para mais informações, consulte Configure the AI console.

• Instale e configure o Kubeflow Pipelines:

  • Para usar o MinIO pré-instalado como armazenamento, certifique-se de que os nós do cluster estejam conectados a ESSDs. Para mais informações, consulte Configure workflow data storage.

  • Para usar o Object Storage Service (OSS) como armazenamento, ative o OSS, compre um bucket OSS e crie um Secret chamado kubeai-oss no namespace kube-ai. Para mais informações, consulte 开通OSS服务 e Configure workflow data storage.

2. Sistema e ambiente

(Administrador de O&M)

Ative e instale o conjunto de IA nativa da cloud

1. Acesse a activation page para ativar o conjunto de IA nativa da cloud.

2. Instale o conjunto de IA nativa da cloud e os componentes relevantes. Para mais informações, consulte Deploy the cloud-native AI suite. Para mais detalhes sobre os componentes usados na instalação do conjunto, consulte Component overview and release history.

ACK console

Gerencie usuários e cotas

1. Adicione nós de cota e defina cotas de recursos.

2. Crie usuários e grupos de usuários, aloque recursos e associe grupos de cotas.

   Para mais informações, consulte Manage users, Manage user groups e Manage elastic quota groups.

3. Gere um arquivo kubeconfig e um token de logon para um usuário recém-criado. Para mais informações, consulte Generate a kubeconfig and token.

AI Dashboard e kubectl

Prepare dados

1. Crie datasets.

2. (Opcional) Acelere datasets. Para mais informações, consulte Elastic datasets.

(Engenheiro de algoritmos e cientista de dados)

O conjunto de IA nativa da cloud permite que engenheiros de algoritmos e cientistas de dados usem o Arena, o web console e o AI Developer Console para desenvolver modelos, treinar modelos, implantar services de inferência e gerenciar jobs.

• Use a CLI ou o console

  Instale a CLI do Arena ou o AI Developer Console. Para mais informações, consulte Configure the Arena client e Configure the AI console.

  Nota

  Os consoles de IA fornecidos pela Alibaba Cloud (incluindo o console de desenvolvedor e o console de O&M) estão disponíveis como recurso de lista de permissões desde 22 de janeiro de 2025. Se você implantou esses consoles antes da entrada em vigor da lista de permissões, sua implantação existente não será afetada. Usuários que não estão na lista de permissões podem instalar e configurar o console do conjunto de IA a partir da comunidade open source. Para mais informações sobre a configuração open source, consulte Open-source AI console.

• Use a Lightweight Platform for AI

ACK console

3. Treinamento e implantação de modelos

(Engenheiro de algoritmos e cientista de dados)

Ao usar o Arena ou o AI Developer Console, execute as etapas a seguir para treinar e implantar modelos:

Desenvolva modelos

1. Crie e utilize um Jupyter notebook. Para mais informações, consulte Create and use a Jupyter notebook.

2. Utilize o Jupyter notebook para desenvolver e testar um modelo.

3. Utilize o Jupyter notebook para enviar código a um repositório Git.

Treine modelos

1. Utilize o AI Developer Console ou o Arena para enviar um job de treinamento.

2. Visualize os logs ou dados do TensorBoard do job.

   Para mais informações, consulte Model trainingModel training.

Gerencie modelos

1. Crie um modelo e associe-o a um job de treinamento.

2. Utilize o AI Developer Console ou a CLI do Arena para gerenciar o modelo. Para mais informações, consulte Manage models in MLflow Model Registry through Arena.

Implante modelos

Implante um modelo como service de inferência. Para mais informações, consulte AI service deploymentDeploy AI services.

AI Developer Console e Arena

Utilize a Lightweight Platform for AI para desenvolver, treinar e implantar modelos.

N/A

4. Monitoramento e manutenção

(Administrador de O&M)

Monitore e mantenha recursos

Visualize os painéis de vários recursos, incluindo clusters, nós, jobs de treinamento e cotas de recursos. Para mais informações, consulte Cloud-native AI monitoring dashboards.

AI Dashboard

Gerencie cotas

• Crie, consulte, atualize e exclua grupos de cotas e recursos dentro desses grupos.

• Altere tipos de recursos.

  Para mais informações, consulte Manage elastic quota groups.

Gerencie usuários

Crie, consulte, atualize e exclua usuários ou grupos de usuários. Para mais informações, consulte Manage users e Manage user groups.

Gerencie datasets

• Crie, consulte, atualize e exclua datasets e dados. Para mais informações, consulte Manage datasets.

• Acelere datasets. Para mais informações, consulte Elastic datasets.

Gerencie jobs elásticos

Visualize jobs elásticos e detalhes dos jobs. Para mais informações, consulte View elastic tasks.

5. Faturamento e pagamentos

(Administrador de O&M)

A partir das 00:00:00 (UTC+8) de 6 de junho de 2024, o conjunto de IA nativa da cloud é gratuito. Para mais informações, consulte Billing of cloud-native AI suite.

Expenses and Costs

Gere faturas diariamente

• Consulte faturas.

• Consulte detalhes de faturamento.

• Consulte detalhes de uso de recursos.

• Consulte uso de services e preços.

  Para mais informações, consulte Billing of cloud-native AI suite.

Referência

Descrição

• Cloud Native AI Suite developer guide

• Cloud-native AI Suite O&M guide

Ajuda você a aplicar rapidamente o conjunto de IA nativa da cloud em seu trabalho de desenvolvimento e O&M por meio de algumas práticas.

Release notes

Descreve as notas de versão do conjunto de IA nativa da cloud.