Criar IA/Machine Learning no Kubernetes
Cloud-native AI oferece um conjunto de recursos e serviços essenciais para ajudar os clientes a criar uma plataforma de IA, acelerar as cargas de trabalho e simplificar os MLOps.
Capacidade de dimensionamento do recurso
Melhora a utilização de GPUs e CPUs e aumenta a escalabilidade de recursos heterogêneos.
Programação eficiente
Agenda tarefas de IA e Big Data de modo eficiente e dá suporte completo para todo o processo de produção de IA.
Acesso acelerado a dados
Melhora o desempenho do acesso a dados e integra fontes heterogêneas.
Observabilidade
Compatível com vários métodos usados para observar tarefas, cotas de usuários e recursos.
Flexibilidade e extensibilidade
Permite criar uma plataforma de IA nativa da nuvem personalizada modificando a arquitetura extensível com base em componentes.
Kubernetes padrão
Funciona em Kubernetes padrão e é compatível com nuvens públicas, Apsara Stack, nuvens híbridas e clusters de borda do ACK.
Atributos
Uso eficiente de recursos heterogêneos
Compatível com agendamento de GPU, compartilhamento de GPU e isolamento de memória. Configure várias políticas para alocar GPUs e monitorar o consumo de recursos da GPU de várias dimensões.
Melhor desempenho de acesso a dados
Separa computação e armazenamento. O Fluid abstrai dados para IA nativa da nuvem e aplicativos de Big Data para acelerar o acesso a dados. O Fluid também aprimora o isolamento de segurança de dados e elimina silos de dados provados por diferentes tipos de armazenamento.
Agendamento de tarefas de IA
Compatível com várias políticas de agendamento (como agendamento coletivo, agendamento de capacidade e agendamento de binpack) para atender aos requisitos das tarefas de IA e melhorar o uso dos recursos do cluster.
Dimensionamento automático de recursos heterogêneos
Executa a transferência inteligente de carga para prevenir desperdício. A IA nativa da nuvem também tem suporte para treinamento de modelos elásticos e inferência baseada em modelos.
Tarefas, usuários e recursos de cluster observáveis
Oferece painéis de monitoramento para tarefas, cotas de usuários e recursos de cluster para ajudar na avaliação de entradas e saídas.
Cenários
Benefícios
-
Alocação de recursos baseada em grupos do projeto
É possível dividir os membros do projeto em grupos isolados. Em seguida, pode alocar e isolar recursos com base em grupos ou gerenciar as permissões de vários grupos.
-
Isolamento e compartilhamento entre os usuários
É possível alocar recursos do cluster a grupos de usuários com base nas suas necessidades comerciais. Também é possível pode gerenciar permissões de usuários em cada grupo. As permissões incluem as permissões de leitura e gravação de usuários em tarefas e de leitura e gravação de tarefas em dados.
-
Cotas elásticas
Você pode usar grupos de cotas elásticos para agendamento de capacidade para compartilhar e alocar recursos de modo adequado aos usuários. Isso melhora o uso geral dos recursos dos clusters.
Benefícios
-
Suporte nativo para abstração do conjunto de dados
Cloud-native AI empacota em funções os principais recursos de que aplicativos com uso intensivo de dados precisam. Isso promove um acesso eficiente a dados e reduz os custos de gerenciar dados heterogêneos.
-
Pré-carregamento e aceleração de dados na nuvem
O Fluid usa os mecanismos de cache distribuídos para apoiar a pré-carga e a aceleração de dados na nuvem. Isso assegura a observabilidade, a portabilidade e a escalabilidade horizontal automática dos dados armazenados em cache.
-
Orquestração colaborativa de dados e aplicativos
Ao programar aplicativos e dados na nuvem, você pode coordenar a orquestração de aplicativos e dados conforme características e locais para melhorar o desempenho geral.
-
Gerenciamento de namespace
É possível acessar dados de várias fontes ao mesmo tempo em um só conjunto de dados. As fontes de dados incluem OSS (Object Storage Service), HDFS (Hadoop Distributed File System), Ceph e outros serviços de armazenamento. Isso é adequado para cenários de nuvem híbrida.
-
Gerenciamento de fontes de dados heterogêneas
É possível acessar dados de várias fontes ao mesmo tempo em um só conjunto de dados. As fontes de dados incluem OSS (Object Storage Service), HDFS (Hadoop Distributed File System), Ceph e outros serviços de armazenamento. Isso é adequado para cenários de nuvem híbrida.
Benefícios
-
Compartilhamento e agendamento de GPU
Pode-se executar vários contêineres em uma GPU usando o compartilhamento e o agendamento da GPU.
-
Programação da GPU com reconhecimento de topologia
É possível selecionar uma combinação de GPU adequada e atingir a velocidade de treinamento ideal durante o agendamento de GPU.
-
Programação de Binpack
As tarefas inicialmente são alocadas a um nó. Quando o nó tem recursos insuficientes, os trabalhos são alocados a outro nó. Isso minimiza a transmissão de dados entre nós e evita fragmentar o recurso.
-
Programação Gang
Os recursos apenas são alocados a um trabalho quando todas as subtarefas do trabalho têm recursos suficientes. Isso previne impasses de recursos em que grandes trabalhos ocupam os recursos de pequenos trabalhos.
Benefícios
-
Kit de ferramentas do Arena AI
As linhas de comando e os SDKs para Go, Java e Python são compatíveis com recursos heterogêneos subjacentes. Isso permite gerenciar ambientes, agendar tarefas, alocar GPUs e monitorar recursos de modo simplificado.
-
O kit de ferramentas é compatível com várias estruturas de aprendizagem profunda, por exemplo, TensorFlow, PyTorch, Caffe, Message Passing Interface (MPI) e Hovorod. O kit de ferramentas abrange todo o processo de gerenciamento de operacionalização do modelo de aprendizado de máquina (Machine Learning Model Operationalization Management, MLOps), incluindo gerenciamento de conjuntos de dados, gerenciamento de tarefas de IA, desenvolvimento de modelos, treinamento distribuído, avaliação e lançamento do modelo de inferência.
-
O console de P&D fornece um ambiente de desenvolvimento de algoritmos sob demanda no qual é possível executar operações de gerenciamento em todo o ciclo de vida. As operações incluem gerenciamento de notebooks, gerenciamento de tarefas de IA, gerenciamento de modelos e lançamento de modelos.
Benefícios
-
Painéis para uso de GPU em tempo real
É possível monitorar em tempo real o uso de recursos de várias dimensões.
-
Gerenciamento e aceleração do conjunto de dados
É possível acelerar o acesso a conjuntos de dados com um clique para melhorar a eficiência.
-
Gerenciamento de usuário e grupo de usuários
É possível criar usuários e grupos de usuários com base em projetos e gerenciar permissões e cotas de usuários de modo refinado.
-
Gerenciamento de cota elástica
O agendamento de capacidade permite que grupos de usuários compartilhem recursos dinamicamente.
