Ray adalah kerangka kerja sumber terbuka yang dirancang untuk mengelola, menjalankan, dan mengoptimalkan beban kerja AI. Ray menggunakan pendekatan seragam dan fleksibel untuk mengoordinasikan sumber daya infrastruktur guna mendukung berbagai beban kerja AI, termasuk pemrosesan data, pelatihan model, dan penyajian model. Ray menyediakan API sederhana yang memungkinkan pengembang menulis kode untuk pemrosesan paralel dan komputasi terdistribusi secara efisien tanpa harus khawatir tentang konfigurasi kompleks dari infrastruktur bawahnya. Ray mendukung berbagai paradigma pemrograman, seperti pemrosesan paralel, model aktor, dan penyimpanan objek terdistribusi. Selain itu, Anda dapat memanfaatkan Ray untuk membangun aplikasi AI dan Python yang skalabel. Ray banyak digunakan dalam industri pembelajaran mesin.
Pengenalan Ray
Ray adalah kerangka kerja terpadu sumber terbuka untuk penskalaan aplikasi AI dan Python. Ray menyediakan API untuk menyederhanakan komputasi terdistribusi sehingga Anda dapat mengembangkan aplikasi Python paralel dan terdistribusi secara efisien. Ray banyak diadopsi di sektor pembelajaran mesin. Kerangka kerja komputasi terpadu Ray mencakup lapisan-lapisan berikut: pustaka AI Ray, Ray Core, dan kluster Ray. Untuk informasi lebih lanjut tentang Ray, lihat Ray.
Pengenalan KubeRay
KubeRay adalah operator Kubernetes sumber terbuka yang menyederhanakan penyebaran dan pengelolaan aplikasi Ray pada Kubernetes. KubeRay menyediakan API deklaratif Kubernetes khusus untuk menjalankan kluster Ray pada Kubernetes serta resource kustom RayCluster, RayJob, dan RayService. Resource ini membantu Anda menjalankan berbagai beban kerja pada Kubernetes dengan cara yang nyaman.
Ray on ACK
Container Service for Kubernetes (ACK) adalah salah satu layanan pertama yang berpartisipasi dalam Program Sertifikasi Konformitas Kubernetes di dunia. ACK menyediakan layanan manajemen aplikasi berbasis kontainer berperforma tinggi dan mendukung manajemen siklus hidup untuk aplikasi kontainer kelas perusahaan. Anda dapat menggunakan KubeRay untuk membuat kluster Ray di kluster ACK dengan cara yang sama seperti Anda membuat kluster ACK di cloud.
Kluster Ray Anda dapat bekerja dengan Layanan Log Sederhana, Managed Service for Prometheus, dan Tair (Redis OSS-compatible) untuk meningkatkan manajemen log, observabilitas, dan ketersediaan.
Anda dapat menggunakan autoscaler Ray dan autoscaler ACK bersama-sama untuk menskalakan sumber daya komputasi sesuai permintaan.
Untuk informasi lebih lanjut tentang cara menginstal operator KubeRay, lihat Instal Kuberay-Operator.
Kuberay-Operator
Untuk penyebaran dan pengelolaan kluster Ray dengan cepat, kami merekomendasikan agar Anda menginstal KubeRay di kluster ACK Anda melalui halaman Add-ons konsol ACK. ACK menyediakan komponen Kuberay-Operator yang dikembangkan berdasarkan operator KubeRay sumber terbuka. KubeRay memungkinkan kluster Ray Anda memanfaatkan kemampuan ACK, seperti penjadwalan, kuota elastis, dan penjadwalan sumber daya berbasis prioritas. Selain itu, Anda dapat mengintegrasikan kluster Ray Anda dengan layanan Alibaba Cloud, seperti Layanan Log Sederhana, Managed Service for Prometheus, dan Object Storage Service (OSS).
Setelah Anda menginstal Kuberay-Operator di kluster ACK Anda melalui halaman Add-ons konsol ACK, ACK secara otomatis menginstal dan mengelola Kuberay-Operator. Selain itu, ACK membuat resource RayCluster, RayJob, dan RayService pada bidang data kluster.
Resource kustom
RayCluster
Anda dapat membuat RayCluster untuk membangun kluster Ray pada pod di kluster ACK. Kluster Ray terdiri dari pod kepala dan beberapa pod pekerja. Untuk informasi lebih lanjut tentang resource kustom RayCluster, lihat Konfigurasi RayCluster.
RayJob
RayJob (dalam mode K8sJobMode) mengelola RayCluster dan batch job Kubernetes. RayCluster digunakan untuk membangun kluster Ray pada pod Kubernetes untuk menyediakan sumber daya komputasi. Batch job Kubernetes menjalankan perintah
ray job submituntuk mengirimkan pekerjaan Ray ke RayCluster. Untuk informasi lebih lanjut tentang resource kustom RayJob, lihat Konfigurasi RayJob.
RayService
RayService mengelola RayCluster dan aplikasi Ray Serve. RayCluster digunakan untuk membangun kluster Ray pada pod Kubernetes untuk menyediakan sumber daya komputasi. Aplikasi Ray Serve diterapkan di kluster Ray untuk penerapan model dan inferensi.
Tanggung jawab bersama untuk Ray pada ACK
Saat menggunakan KubeRay untuk menjalankan beban kerja Ray di kluster ACK, Anda harus mengikuti prinsip tanggung jawab bersama. Berikut ini adalah deskripsi model tanggung jawab bersama untuk Ray pada ACK:
Tanggung jawab Alibaba Cloud
Kuberay-Operator dikelola oleh ACK. ACK menyediakan perlindungan keamanan untuk Kuberay-Operator:
ACK memastikan bahwa gambar yang digunakan oleh Kuberay-Operator mematuhi standar Penguatan Keamanan untuk mencegah potensi kerentanan.
ACK memastikan stabilitas dan ketersediaan Kuberay-Operator.
ACK memelihara versi Kuberay-Operator untuk memastikan ketersediaannya.
ACK mengaktifkan manajemen resource kustom RayCluster, RayJob, dan RayService untuk Kuberay-Operator.
Tanggung jawab pelanggan
Saat menggunakan resource kustom RayCluster, RayJob, dan RayService untuk menerapkan dan mengelola kluster Ray dan aplikasi di kluster ACK, Anda bertanggung jawab atas perlindungan keamanan dan pembaruan konfigurasi aplikasi Ray.
Anda harus mengikuti praktik terbaik untuk perlindungan kluster Ray.
Anda harus memperbarui dan memelihara gambar kontainer yang digunakan untuk menerapkan pod kepala Ray dan pod pekerja.
Anda harus memperbarui dan memelihara versi Ray dari pod kepala Ray dan pod pekerja.
Anda harus mengonfigurasi dengan benar persyaratan sumber daya kluster Ray, termasuk persyaratan untuk sumber daya CPU, GPU, dan memori.
Anda harus memantau status aplikasi Ray dan memastikan ketersediaan aplikasi Ray.
Untuk informasi lebih lanjut, lihat Model Tanggung Jawab Bersama.