KubeRay memungkinkan Anda men-deploy, menskalakan, dan mengelola kluster Ray di Container Service for Kubernetes (ACK) untuk beban kerja AI terdistribusi.
Ray adalah framework komputasi yang terdiri dari tiga lapisan: Ray AI Libraries, Ray Core, dan kluster Ray.
Ikhtisar KubeRay
KubeRay adalah operator Kubernetes open-source untuk men-deploy dan mengelola aplikasi Ray. KubeRay menyediakan tiga resource kustom — RayCluster, RayJob, dan RayService — melalui API Kubernetes deklaratif.
Container Service for Kubernetes (ACK) menyediakan manajemen kontainer tingkat enterprise dengan sertifikasi kesesuaian Kubernetes. Gunakan KubeRay untuk men-deploy kluster Ray di ACK.
Ray on ACK terintegrasi dengan layanan Alibaba Cloud:
| Layanan Alibaba Cloud | Kemampuan |
|---|---|
| Simple Log Service | Manajemen log |
| Managed Service for Prometheus | Observabilitas |
| Tair (Redis OSS-Compatible) | Ketersediaan yang ditingkatkan |
| Ray autoscaler + ACK autoscaler | Penskalaan resource sesuai permintaan |
Lihat Install Kuberay-Operator.
Kuberay-Operator
Instal KubeRay dari halaman Add-ons di Konsol ACK. ACK menyediakan Kuberay-Operator berdasarkan operator KubeRay open-source, yang mengaktifkan kemampuan ACK berikut:
-
Penjadwalan
-
Kuota elastis
-
Penjadwalan resource berbasis prioritas
-
Integrasi dengan Simple Log Service, Managed Service for Prometheus, dan Object Storage Service (OSS)
Setelah instalasi, ACK mengelola Kuberay-Operator dan membuat resource kustom RayCluster, RayJob, dan RayService di bidang data.
Resource kustom
RayCluster
RayCluster membuat kluster Ray yang terdiri dari head pod dan worker pod pada kluster ACK. Lihat Konfigurasi RayCluster.
RayJob
RayJob (dalam mode K8sJobMode) mengelola RayCluster dan pekerjaan batch Kubernetes. RayCluster menyediakan resource komputasi, sedangkan pekerjaan batch menjalankan ray job submit untuk mengirimkan pekerjaan Ray. Lihat Konfigurasi RayJob.
RayService
RayService mengelola RayCluster dan aplikasi Ray Serve. RayCluster menyediakan resource komputasi, dan Ray Serve menangani penerapan model dan inferensi.
Tanggung jawab bersama untuk Ray on ACK
Saat Anda menjalankan beban kerja Ray di kluster ACK dengan KubeRay, Anda dan Alibaba Cloud memiliki tanggung jawab bersama atas keamanan dan pengelolaan lingkungan.
Tanggung jawab Alibaba Cloud
ACK mengelola dan mengamankan Kuberay-Operator:
-
Memastikan gambar Kuberay-Operator memenuhi standar Penguatan Keamanan.
-
Menjamin stabilitas dan ketersediaan Kuberay-Operator.
-
Memelihara versi Kuberay-Operator.
-
Mengelola resource kustom RayCluster, RayJob, dan RayService.
Tanggung jawab pelanggan
Anda bertanggung jawab atas keamanan dan konfigurasi aplikasi Ray yang dideploy menggunakan RayCluster, RayJob, dan RayService.
-
Ikuti praktik terbaik untuk perlindungan kluster Ray.
-
Perbarui dan pelihara gambar kontainer untuk head pod dan worker pod Ray.
-
Perbarui dan pelihara versi Ray untuk head pod dan worker pod.
-
Konfigurasikan kebutuhan resource untuk kluster Ray, termasuk CPU, GPU, dan memori.
-
Monitor status dan ketersediaan aplikasi Ray.
Lihat Model tanggung jawab bersama.