O KubeRay permite implantar, dimensionar e gerenciar clusters do Ray no ACK para cargas de trabalho de IA distribuídas.
O framework de computação Ray possui três camadas: Ray AI Libraries, Ray Core e clusters do Ray.
Visão geral do KubeRay
O KubeRay é um operador Kubernetes open source para implantar e gerenciar aplicações Ray. Ele fornece três recursos personalizados — RayCluster, RayJob e RayService — por meio de uma API Kubernetes declarativa.
O Container Service for Kubernetes (ACK) oferece gerenciamento de contêineres de nível empresarial com conformidade certificada pelo Kubernetes. Use o KubeRay para implantar clusters do Ray no ACK.
O Ray no ACK integra-se aos seguintes serviços da Alibaba Cloud:
|
Serviço da Alibaba Cloud |
Capacidade |
|
Simple Log Service |
Gerenciamento de logs |
|
Managed Service for Prometheus |
Observabilidade |
|
Tair (Redis OSS-Compatible) |
Maior disponibilidade |
|
Ray autoscaler + ACK autoscaler |
Dimensionamento de recursos sob demanda |
Consulte Instalar o Kuberay-Operator.
Kuberay-Operator
Instale o KubeRay na página Add-ons do console do ACK. O ACK disponibiliza o Kuberay-Operator, baseado no operador open source KubeRay, que habilita os seguintes recursos no ACK:
Agendamento
Cotas elásticas
Agendamento de recursos baseado em prioridade
Integração com Simple Log Service, Managed Service for Prometheus e Object Storage Service (OSS)
Após a instalação, o ACK gerencia o Kuberay-Operator e cria os recursos personalizados RayCluster, RayJob e RayService no plano de dados.
Recursos personalizados
RayCluster
Um RayCluster cria um cluster do Ray composto por um pod principal e pods de trabalho em um cluster ACK. Consulte Configuração do RayCluster.
RayJob
O RayJob (no modo K8sJobMode) gerencia um RayCluster e um job em lote do Kubernetes. O RayCluster fornece os recursos computacionais, enquanto o job em lote executa o comando ray job submit para enviar um job do Ray. Consulte Configuração do RayJob.
RayService
O RayService gerencia um RayCluster e aplicações do Ray Serve. O RayCluster fornece os recursos computacionais, e o Ray Serve cuida da implantação de modelos e da inferência.
Responsabilidades compartilhadas no Ray on ACK
Ao executar cargas de trabalho do Ray em clusters ACK com o KubeRay, você e a Alibaba Cloud compartilham a responsabilidade pela segurança e pelo gerenciamento do ambiente.
Responsabilidades da Alibaba Cloud
O ACK gerencia e protege o Kuberay-Operator:
Garante a conformidade das imagens do Kuberay-Operator com os padrões de reforço de segurança.
Assegura a estabilidade e a disponibilidade do Kuberay-Operator.
Mantém as versões do Kuberay-Operator.
Gerencia os recursos personalizados RayCluster, RayJob e RayService.
Responsabilidades do cliente
Você é responsável pela segurança e pela configuração das aplicações Ray implantadas com RayCluster, RayJob e RayService.
Siga as melhores práticas de proteção de clusters do Ray.
Atualize e mantenha as imagens de contêiner dos pods principais e de trabalho do Ray.
Atualize e mantenha as versões do Ray nos pods principais e de trabalho.
Configure os requisitos de recursos para os clusters do Ray, incluindo CPU, GPU e memória.
Monitore o status e a disponibilidade das aplicações Ray.
Consulte Modelo de responsabilidade compartilhada.